CN115575399A - 表面缺陷检测方法及表面缺陷检测系统 - Google Patents

表面缺陷检测方法及表面缺陷检测系统 Download PDF

Info

Publication number
CN115575399A
CN115575399A CN202211204989.9A CN202211204989A CN115575399A CN 115575399 A CN115575399 A CN 115575399A CN 202211204989 A CN202211204989 A CN 202211204989A CN 115575399 A CN115575399 A CN 115575399A
Authority
CN
China
Prior art keywords
detected
light source
light sources
detected surface
curvature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211204989.9A
Other languages
English (en)
Inventor
曹文
龙攀城
丁玲玲
付翱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mecarmand Shanghai Robot Technology Co ltd
Original Assignee
Mecarmand Shanghai Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mecarmand Shanghai Robot Technology Co ltd filed Critical Mecarmand Shanghai Robot Technology Co ltd
Priority to CN202211204989.9A priority Critical patent/CN115575399A/zh
Publication of CN115575399A publication Critical patent/CN115575399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • G01N21/57Measuring gloss
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block

Abstract

本发明提供一种表面缺陷检测方法、表面缺陷检测系统以及计算机可读存储介质,其中表面缺陷检测方法包括:分别获取多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度;获取被检测表面在不同光源照射下的图像,并根据图像获得灰度值;根据灰度值,对应光源的入射角度以及图像获取装置的光轴相对于被检测表面的角度,计算表面法向量和/或光泽度;根据表面法向量,计算被检测表面中被照射部分的曲率,并根据曲率和/或光泽度判断被检测表面的缺陷。结合光源的入射角度和图像获取装置的光轴角度,计算被检测表面的表面法向量和/或光泽度,能够实现对镜面反射以及漫反射表面进行表面缺陷检测,提高了表面缺陷检测方法的适用范围。

Description

表面缺陷检测方法及表面缺陷检测系统
技术领域
本发明大致涉及表面检测技术领域,尤其是一种表面缺陷检测方法以及表面缺陷检测系统。
背景技术
随着技术水平的发展,对于工业加工的产品的质量要求越来越高,尤其是在精密加工等对工件的质量要求较高的领域。为保证产品的合格率,在进一步加工或产品交付前,需要对工件进行检查,其中表面缺陷检测指对工件的表面进行检测,以判断工件表面是否存在影响产品质量的加工痕迹、腐蚀痕迹、色彩偏差等缺陷。
现有的表面缺陷检测方法主要包括人工目视检测和机器视觉检测两种,其中人工目视检测的标准难以统一,合格率无法保证,而且效率低下,成本较高,而现有的机器视觉检测方法对于硬件设置以及被检测物体的表面均存在特定要求,应用范围有限。
以现有的机器视觉检测方法最常用的halcon算法库(一种机器视觉算法库)为例,光度立体法对表面缺陷检测系统的硬件设置要求存在诸多限制,其中要求相机的光轴必须与被检测表面相垂直,镜头尽可能是远心镜头或长工作距离的长焦镜头,同时需要至少三个方向的光源分别照射被检测表面,并且光源要求尽可能是平行光源或无限远点光源。最重要的是,现有的机器视觉检测方法对于镜面反射表面或半镜面反射表面的检测效果极差,应用范围仅限于针对漫反射表面进行缺陷检测。
背景技术部分的内容仅仅是发明人所知晓的技术,并不当然代表本领域的现有技术。
发明内容
针对现有技术中的一个或多个缺陷,本发明提供一种表面缺陷检测方法,利用多个从不同角度入射光源照射被检测表面,所述表面缺陷检测方法包括:
分别获取多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度;
获取被检测表面在不同光源照射下的图像,并根据不同光源对应的图像获得被检测表面中被照射部分与光源对应的灰度值;
根据灰度值,对应光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度,计算表面法向量和/或被检测表面中被照射部分的光泽度;
根据表面法向量,计算被检测表面中被照射部分的曲率;
根据被检测表面中被照射部分的曲率和/或光泽度,判断被检测表面的表面缺陷。
根据本发明的一个方面,所述表面缺陷检测方法还包括获取被检测表面的表面粗糙度,被检测表面在不同光源照射下呈现的灰度值,与被检测表面的表面粗糙度相关。
根据本发明的一个方面,其中多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度通过硬件标定获得。
根据被检测表面中被照射部分的光泽度,或光泽度和曲率的结合,判断被检测表面的表面缺陷。
根据本发明的一个方面,其中多个光源以不同的入射角照射向被检测表面的同一位置,所述获取被检测表面在不同光源照射下的图像的步骤包括:
控制不同光源以预设的时序交替点亮;
控制图像获取装置获取被检测表面被不同光源照射时对应的图像。
根据本发明的一个方面,其中光源在被检测表面上形成线性照射范围,所述计算被检测表面中被照射部分的曲率的步骤为计算被检测表面在光源形成线性照射范围方向上的曲率。
根据本发明的一个方面,其中所述获取被检测表面在不同光源照射下的图像的步骤还包括:
控制光源在被检测表面上形成至少两个不同方向的线性照射范围,并获取对应的图像,以分别计算被检测表面中同一位置在至少两个线性照射范围方向上的曲率。
根据本发明的一个方面,其中所述控制光源在被检测表面上形成至少两个不同方向的线性照射范围的步骤包括:
控制被检测表面和光源发生相对转动,以改变光源在被检测表面上形成的线性照射范围相对于被检测表面的角度。
根据本发明的一个方面,其中多个所述光源以不同入射方向设置,以在被检测表面上形成至少两个不同方向的线性照射范围。
根据本发明的一个方面,其中所述光源在被检测表面上形成两个大致相互垂直的线性照射范围。
根据本发明的一个方面,其中所述获取被检测表面在不同光源照射下的图像的步骤包括:
控制被检测表面和光源发生相对运动,以改变光源照射在被检测表面上的位置,用于计算被检测表面的全部范围的曲率。
根据本发明的一个方面,其中多个所述光源中至少存在一个光源以不小于75°的入射角照射被检测表面;所述表面缺陷检测方法还包括:
获取灰尘背景图,所述灰尘背景图为入射角不小于75°的光源对应的图像;
通过灰尘背景图识别被检测表面上的非缺陷特征。
根据本发明的一个方面,其中所述计算被检测表面中被照射部分的曲率的步骤包括:
根据表面法向量计算被检测表面在不同的线性照射范围方向上的梯度变化;
根据梯度变化计算在不同的线性照射范围方向上的单向曲率;和
根据梯度变化计算被检测表面的最大曲率、最小曲率和平均曲率。
根据本发明的一个方面,本发明还包括一种表面缺陷检测系统,所述表面缺陷检测系统包括:
承载结构,所述承载结构用于承载被检测表面;
多个光源,所述光源设置在预设位置,并能够以不同的入射角向所述被检测表面投射光线;
图像获取装置,所述图像获取装置能够获取所述光源发射的光线在所述被检测表面上的反射光;和
控制系统,所述控制系统与所述光源和所述图像获取装置信号连接,并能够执行如前所述的表面缺陷检测方法。
根据本发明的一个方面,其中所述控制系统还与所述承载结构信号连接,并控制承载结构带动所述被检测表面沿预设路径运动。
根据本发明的一个方面,其中多个所述光源在所述被检测表面上形成大致相互垂直的线性照射范围;或所述承载结构带动所述被检测表面相对于所述光源转动,以在被检测表面上形成大致相互垂直的线性照射范围。
根据本发明的一个方面,本发明还包括一种计算机可读存储介质,包括存储于其上的计算机可执行命令,所述可执行命令在被处理器执行时实施如前所述的表面缺陷检测方法。
与现有技术相比,本发明的实施例提供了一种表面缺陷检测方法,利用多个光源以不同的入射角度照射被检测表面,结合光源的入射角度和图像获取装置的光轴角度,计算获得被检测表面的表面法向量和/或光泽度,进而计算被检测表面的曲率,并根据曲率和光泽度判断被检测表面的表面缺陷。相比于现有的固定角度的平行光源和垂直设置的相机,本发明的实施例可根据被检测表面的漫反射系数调整光源的入射角度,以及图像获取装置的光轴角度,将入射角等数据引入计算,充分考虑了镜面反射的情况,能够实现对镜面反射、半镜面反射以及漫反射表面进行表面缺陷检测,提高了表面缺陷检测方法的适用范围。本发明的实施例还包括一种表面缺陷检测系统以及一种计算机可读存储介质,用于实施前述的表面缺陷检测方法。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的一个实施例中表面缺陷检测方法的流程示意图;
图2是本发明的一个实施例中包含控制多个光源交替点亮过程的表面缺陷检测方法的流程示意图;
图3是本发明的一个实施例中包含控制被检测表面和光源发生相对转动过程的表面缺陷检测方法的流程示意图;
图4是本发明的一个实施例中包含控制被检测表面和光源发生相对运动过程的表面缺陷检测方法的流程示意图;
图5是本发明的一个实施例中承载结构带动被检测表面运动的示意图;
图6是本发明的一个实施例中表面缺陷检测系统的示意图;
图7是本发明的一个实施例中获取的一个光源在被检测表面上形成的线性照射范围的图像;
图8A是本发明的一个实施例中被检测表面局部区域的光泽度图;
图8B是本发明的一个实施例中被检测表面局部区域的X方向梯度图;
图8C是本发明的一个实施例中被检测表面局部区域的Y方向梯度图;
图8D是本发明的一个实施例中被检测表面局部区域的灰尘背景图;
图9是本发明的一个实施例中表面缺陷检测系统的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中,需要理解的是,术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语"第一"、"第二"仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,"多个"的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语"安装"、"相连"、"连接"应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1示出了根据本发明的一个实施例中表面缺陷检测方法100的具体流程,下面结合图1详细描述。
在表面缺陷检测方法100中,利用多个由不同的角度入射的光源照射被检测表面,其中光源的入射角度不受平行光源或无限远点光源的限制,可以以被检测表面中的某一位置为圆心,光源设置在周向,并照射向该位置,获取该位置的曲率。通过移动光源和图像获取装置,或移动被检测表面,完成对整个被检测表面的缺陷检测过程。
在步骤S101,分别获取多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度,具体的,这一步骤可以在设置表面缺陷检测系统时获得。根据本发明的优选实施例,光源的入射角度以及图像获取装置的光轴相对于被检测表面的角度可以在一定的范围内调整,以适应具有不同漫反射系数的被检测表面,本发明的实施例中不限制被检测表面为漫反射表面,对于镜面反射或半镜面反射的表面同样适用,例如各类金属板面、玻璃板面、有机高分子材料板面等。
在步骤S102,获取被检测表面在不同光源照射下的图像,并根据不同的光源对应的图像,获得被检测表面中被照射部分与光源相对应的灰度值。通过图像获取装置获得被检测表面的图像,具体的,图像获取装置,例如是工业相机,与多个光源的相对位置固定,并且能够拍摄到光源照射在被检测表面上的位置。在本发明的不同实施例中,可以直接获得被检测表面的灰度图,并读取灰度值,或在获得图像后,对图像进行预处理,获取灰度值。不同光源照射下的图像可以通过控制多个光源以预设的时序分别开启和关闭,也可以根据将不同的光源设置成能够发出不同颜色的光束,并同时开启,在获取图像后,根据光束颜色进行拆分,获得不同光源照射下的图像。
在步骤S103,根据灰度值,对应光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度,计算表面法向量和/或被检测表面中被照射位置的光泽度,具体的,光泽度可以通过被检测表面的镜面反射系数来表现,具体计算过程在后续内容中展开说明。在现有的表面缺陷检测方法中,由于光源是平行光源或无限远点光源,且图像获取装置的光轴与被检测表面保持垂直,因此在计算表面法向量的过程中,并不会引入入射角度以及光轴角度的数值,具体的,以现有的利用机器视觉进行表面缺陷检测的方法中应用最广泛的halcon算法库为例,其中对于硬件设置的诸多相对位置关系的限制,以及仅能够应用于漫反射表面的表面缺陷检测的缺陷均由其计算原理导致的。
halcon算法库的算法原理基于朗伯(Lambert)光照数学模型,根据朗伯(Lambert)光照数学模型的理论,在所有视角下表面的亮度相同,但现实中并不存在完全满足朗伯(Lambert)光照数学模型要求的表面,因此在设置表面缺陷检测装置时限定光源尽可能为平行光源,或无限远点光源,但对于镜面反射表面或半镜面反射表面,反射光的方向主要由入射光的入射角决定,其中向其他方向传播的反射光较少,导致相机的进光不足,无法进行高精度的表面缺陷识别。
具体的,被检测表面的表面材质的反照率设为Cdiff,图像灰度值I正比于出射亮度,系数设为K,令
Figure BDA0003873245510000081
N=Cdiffn
其中N为被检测表面的表面法向量,s为多个光源的光照系数,Cdiff为N的模,n是N的单位向量,根据上式可知,多个光源分别照射在被检测表面上,并获取对应的图像后,有:
Figure BDA0003873245510000091
其中各个光源的光照系数sn通过硬件设置读取,光源方向单位向量可以通过获取的图像的灰度值I计算获得,通过联立上式,可以计算被检测表面中某一位置的表面法向量n和反照率Cdiff。假设共有m个方向的光照,则对于单个像素点的计算过程,可以以矩阵的形式表达为:
Figure BDA0003873245510000092
以上是现有的表面缺陷检测方法的计算过程,反映在检测硬件上,需要将光源设置为平行光源或无限远点光源,并且相机的光轴需要与被检测表面保持垂直。检测硬件的设置要求又对被检测表面的漫反射系数产生了限制,应用范围受限。
本实施例中提供的表面缺陷检测方法100可以根据被检测表面的漫反射系数对光源的入射角度和图像获取装置的光轴角度进行调整,并根据光源的入射角度和图像获取装置的光轴角度计算表面法向量,能够应用于镜面反射表面和半镜面反射表面的表面缺陷检测,减少了对硬件相对位置关系的限制,并且适用范围更广。
在步骤S104,根据表面法向量,计算被检测表面中被照射部分的曲率。根据本发明的优选实施例,可以通过控制光源的方向,计算被检测表面中被光源照射到的部分在该方向上的曲率变化。进一步的,计算同一位置,例如同一像素坐标,在不同方向上的曲率变化,在完成被检测表面全部范围的检测后,即可输出被检测表面中曲率变化超出阈值(例如设置为超出阈值为不合格)的缺陷点,以及缺陷点在被检测表面中的位置坐标。优选的,还可以将缺陷点位置的图像进行放大显示,以便于对缺陷点进行复核,提高表面缺陷检测的可视化程度和准确程度。
在步骤S105,根据被检测表面中被照射部分的曲率和/或光泽度,判断被检测表面的表面缺陷,例如对于平面来说,曲率超过一定的阈值,判定为表面缺陷。当被检测表面中需要进行表面检测的范围均完成表面检测后,整个被检测表面在当前工位上的表面检测过程完成。由于存在材质、加工过程、检查要求等多个方面的区别,被检测表面中存在多种不同类型的表面缺陷,其中部分表面缺陷可以仅通过曲率反映,另有部分表面缺陷可以仅通过光泽度反映,也存在部分表面缺陷需要曲率和光泽度两者结合反映。例如对于表面缺陷为凸起或凹陷等结构缺陷的被检测表面,可以通过计算曲率获得表面缺陷的程度和位置,而对于颜色差异一类的表面缺陷,可以通过被检测表面的光泽度反映。在实际应用中,被检测表面通常存在多种不同类型,甚至相互结合的表面缺陷,因此在本发明的优选实施例中,可以同时计算曲率和光泽度,并针对性的判断对应的表面缺陷。
具体的,被检测表面为阳极氧化铝板的平板面,在阳极氧化铝板的加工生产过程中,被检测表面中可能存在的表面缺陷主要包括下表中的12种,其中每种表面缺陷均可以通过曲率、光泽度或曲率与光泽度的结合识别,表面缺陷与曲率和光泽度的对应关系如下表。
Figure BDA0003873245510000101
对于其他类型的被检测表面,同样能够通过曲率和/或光泽度获取绝大部分表面缺陷。
进一步的,根据本发明的优选实施例,表面缺陷检测方法还包括获取被检测表面的表面粗糙度,例如是被检测表面的实测值,被检测表面在不同光源照射下呈现的灰度值,同时也与被检测表面的表面粗糙度相关,在被检测表面确定后,表面粗糙度可以作为计算表面法向量过程中的常数。
本发明的实施例将朗伯(Lambert)光照数学模型改进为双向反射分布函数(Bidirectional Reflectance Distribution Function BRDF),根据双向反射分布函数的理论,不同的视角下表面的亮度不同,因此在设定图像获取装置的光轴相对于被检测表面的角度后,例如对图像获取装置进行标定,可基于微表面理论(Microfacet Theory)的Cook-Torrance模型建立的BRDF模型,具体的:
Figure BDA0003873245510000111
其中F(h,l)是菲涅尔方程(Fresnel Equations),G(l,v)是集合衰减因子(Geometrical Attenuation Factor),D(h,n)是法线分布函数(Normal DistributionFunction),在本发明的优选实施例中,为简化计算过程,适应工业生产,以上三者分别可以简化为与被检测表面的表面粗糙度相关的固定常量,分别可以通过提前标定计算获得,具体的:
菲涅尔方程表达为:
F(h,l)=F0+(1-F0)(1-(h·l))5
几何衰减因子表达为:
Figure BDA0003873245510000112
Figure BDA0003873245510000113
Figure BDA0003873245510000114
k=0.5α
法线分布函数表达为:
Figure BDA0003873245510000115
其中α为被检测表面的表面粗糙度,取值范围为[0,1],可以通过实际测量被检测表面,或根据被检测表面的加工过程直接获得。l为光源的入射角度,v为图像获取装置的光轴相对于被检测表面的角度,可以通过对表面缺陷检测系统中的光源和图像获取装置标定获得,根据以上表达式,被检测表面中被一个光源照射位置的图像的灰度值可以简化表述为:
s1G1=Ka+Kd(n·l1)+Ks(v,l1)
式中G为获取图像的灰度值,在通过图像获取装置获取对应光源照射下的图像后,即可读取对应的灰度值,s表示对应光源的光照系数,在设置表面缺陷检测系统时直接获得。
Ka表示环境光,在具体应用中,能够控制被检测表面的检测环境,以降低应用场景中的环境光影响,使Ka趋近于零,忽略环境光的影响。Kd为现有的光度立体法中被检测表面的反照率,Ks为被检测表面的镜面反射系数,其中Ks近似等于Kd的倒数,上式中,Kd(n·l)表示被检测表面的图像中漫反射所贡献的灰度值,Ks(v·l)表示被检测表面的图像中镜面反射所贡献的灰度值。
进一步的,对于分别在多个光源照射下的被检测表面的图像的灰度值可以表述为:
Figure BDA0003873245510000121
根据以上方程组,可以精确地计算被检测表面中在光源照射范围内的表面法向量n=(Zx,Zy,1),进而根据表面法向量n计算被检测表面中光源照射部分的曲率。
相比于现有的表面缺陷检测计算方法,本实施例中提供的表面缺陷检测方法体现了不同光源的入射角度,以及图像获取装置的视角对被检测表面图像的灰度值的影响,在设置光源和图像获取装置的位置时更为灵活,也能够对镜面反射表面和半镜面反射表面进行表面缺陷检测,扩大了表面缺陷检测的适用范围。相较于人工目视检测,工业相机的极限分辨率优于人眼,应用本实施例中的表面缺陷检测方法,检测标准统一,精度更高,代替人工检测能够提高效率和准确率,并降低人工成本。
在上述方程组中,被检测表面的光泽度可以通过被检测表面的镜面反射系数Ks反映,可在计算表面法向量n时获得。被检测表面的光泽度,以及光泽度和曲率的结合同样用于表现被检测表面的缺陷。
图2示出了根据本发明的优选实施例中表面缺陷检测方法200的具体流程,其中包括了控制多个光源以预设时序交替点亮的步骤。表面缺陷检测方法200中的步骤S201、步骤S203、步骤S204、步骤S205和步骤S206分别和表面缺陷检测方法100中的步骤S101、步骤S102、步骤S103、步骤S104和步骤S105基本相同,在此不再赘述。
在步骤S202,控制不同光源以预设的时序交替点亮,例如表面缺陷检测系统100中设置有6个可以单独控制开启和关闭的光源,并且光源以不同的入射角度照射向被检测表面的同一位置,如图6所示。以光源的照射范围为一个面积单位,在对一个面积单位进行表面缺陷检测时,控制6个光源以预设顺序,例如对6个光源进行排序编号,分别为1-6,按照1-6的顺序依次开启和关闭,当1号光源照射被检测表面时,图像获取装置获得1号光源对应的被检测表面的图像,其他的光源同理。在本发明的不同实施例中,同时开启的光源也可以有多个,例如6个光源中存在2个光源同时开启和关闭,本实施例中的不同光源并不限制在每个光源均单独控制开启和关闭。
进一步的,根据本发明的优选实施例,光源在被检测表面上形成线性的照射范围,例如形成狭窄的条形照射范围,如图7所示,多个条形的照射范围能够组合成整体,以便于进行后续处理。具体的,可以通过设置线性排列的激光器,在经过匀光后实现。在图像获取装置获得光源对应的图像后,根据前述的计算方法,可以得到被检测表面中被照射位置在当前光源形成的线性照射范围方向上的曲率变化,例如图像获取装置选择线扫相机,并且线扫相机获取的线性范围与光源在被检测表面上形成的线性照射范围重合,当控制光源照射被检测表面,形成线性照射范围时,线扫相机获取当前条形范围的图像,其中各个像素位置在该线性方向上连续,即可计算被检测表面中当前条形范围在线性延长方向上的曲率。
根据本发明的优选实施例,在表面缺陷检测方法200中控制多个光源在被检测表面上形成至少两个不同方向的线性照射范围,并获取对应的图像,以分别计算被检测表面中同一位置在至少两个线性照射范围方向上的曲率。针对被检测表面中的某一个像素位置,可以分别计算该像素位置在不同方向上的曲率,优选的,两个不同方向大致垂直,以全面的反应该像素位置的形状特征,以此判断在该像素位置处是否存在表面缺陷。控制光源以及图像获取装置和被检测表面相对运动,以完成对被检测表面全部像素位置的检测,完成表面缺陷检测过程。
具体的,根据本发明的不同实施例,其中控制光源在被检测表面上形成至少两个不同方向的线性照射范围的步骤包括两种具体方法。
如图3所示,在表面缺陷检测200中,步骤S203-1,控制被检测表面和光源发生相对转动,优选为控制被检测表面转动,光源位置固定,以改变光源在被检测表面上形成的线性照射范围的方向,进而能够计算获得被检测表面中一个像素位置处在两个方向上的曲率。
根据本发明的另一实施例,还可以通过设置多个不同入射方向的条形光源,利用条形光源在被检测表面上形成线性的照射范围,同样能够在被检测表面上形成至少两个不同方向的线性照射范围。
在本发明的不同实施例中,控制被检测表面对光源发生相对运动和设置成预设角度的条形光源的方法可以结合使用,同样能够在被检测表面上形成角度不同的线性照射范围。当然,还可以采用其他方法在被检测表面上形成存在不同角度的线性照射范围,以上仅为本发明的优选实施例,并不仅限于此。
优选的,多个光源在被检测表面上形成两个大致相互垂直的线性照射范围,以尽量全面的表现被检测表面中的某一位置(优选为像素位置)的空间曲率。两个线性照射范围大致垂直,例如误差不大于±5°,以尽量减少相互影响。例如通过控制被检测表面对光源发生相对转动的方法实现光源在被检测表面上形成两个大致相互垂直的线性照射范围,具体可以控制被检测表面相对于光源旋转90°。
图4示出了根据本发明的一个优选实施例中表面缺陷检测方法300的具体流程,其中包括了控制控制被检测表面和光源发生相对运动的过程,具体结合图4和图5展开说明。
表面缺陷检测方法300中,步骤S301、步骤S302、步骤S304、步骤S305、步骤S306和步骤S307与表面缺陷检测方法200中的步骤S201、S202、S203、S204、S205和S206基本相同,不再赘述。在步骤S303,控制被检测表面和光源发生相对运动,以改变光源照射在被检测表面上的位置,用于计算被检测表面的全部范围的曲率。具体的,如图5所示,可以通过承载结构带动被检测表面相对于光源和图像获取装置运动,减少光源和图像获取装置运动产生的不稳定性,例如将承载结构设置为传送带,被检测表面放置在传送带上,光源和图像获取装置固定设置在传送带上方,通过驱动单元带动传送带以及其上的被检测表面运动。
根据本发明的一个优选实施例,在表面缺陷检测系统的多个光源中,至少存在一个光源以不小于75°的入射角照射被检测表面,例如图6中右侧最下方的光源和最左侧的光源。表面缺陷检测方法还包括获取灰尘背景图,其中灰尘背景图为入射角不小于75°的光源对应的图像,并且通过灰尘背景图识别被检测表面上的非缺陷特征。在表面缺陷检测的过程中,被检测表面不可避免地会吸附或沾染灰尘等杂物,这些杂物并不属于被检测表面自身的缺陷,但由于杂物的体积和材质因素,仍然会表现为曲率和光泽度与被检测表面存在差异,因此会被识别为表面缺陷,为避免这种误判,本实施例通过大入射角度的光源照射被检测表面,获取灰尘背景图,对非缺陷的特征进行识别,例如形成如图8D所示的图像,提高表面缺陷检测的准确度。
根据本发明的优选实施例,在完成被检测表面全部范围的扫描,并获取每个像素点位的曲率和光泽度后,可以将多个图像融合为表现被检测表面某一个特征的图像,例如将像素位置和对应的光泽度合成被检测表面的光泽度图,采用相同的方法可以合成X方向(一个线性照射范围在被检测表面坐标系内的方向)上的梯度图,Y方向(另一线性照射范围在被检测表面坐标系内的一个方向,优选为与X方向垂直)上的梯度图,以及灰尘背景图。进一步的,还可以对上述包括完整被检测表面的图像划分为多个局部图,以便于分别展示或进行对比,例如图8A-图8D分别表示被检测表面局部位置的光泽度图、X方向梯度图、Y方向梯度图和灰尘背景图,例如在可视界面中展示缺陷点的放大图。
在本发明的优选实施例中,其中计算被检测表面中被照射部分的曲率的步骤包括:根据表面法向量计算被检测表面在不同的线性照射范围方向上的梯度变化;并根据梯度变化计算在不同的线性照射范围方向上的单向曲率,和根据梯度变化计算被检测表面的最大曲率、最小曲率和平均曲率。
以前述的X方向和Y方向为例,其中X方向上的曲率能够根据X方向上的线性照射范围,以前述计算方法获得,Y方向上的曲率同理。并且在表现表面缺陷的方面,通过X方向的曲率能够获得被检测表面在Y方向上的形状变化,Y方向的曲率能够获得被检测表面在X方向上的形状变化。
最大曲率能够用于筛选凹陷的表面缺陷,最小曲率能够用于筛选凸起的表面缺陷,例如针对凹陷或凸起的表面缺陷设置不同的曲率阈值,如曲率在区间范围内判定为无表面缺陷,超出区间范围的,结合最大曲率和最小曲率,判断属于凹陷类的表面缺陷,或属于凸起类的表面缺陷。平均曲率能够表示凹陷特征和凸起特征,适合用于展示表面缺陷,例如在本发明的优选实施例中,通过具有可视界面的软件执行前述的表面缺陷检测方法,可以提供平均曲率的变化图像,以整体表现被检测表面的特征。
现有的表面缺陷检测方法由于其计算原理的限制,无法计算单独方向的曲率,只能够获得平均曲率和高斯曲率,仅依靠平均曲率和高斯曲率表现被检测表面的表面特征,会导致表面缺陷的检出率不足,检测的精度下降。而本实施例中提供的X方向曲率和Y方向曲率能够更精确地表现被检测表面的表面特征,检测的准确率更高。
具体的,根据本发明的优选实施例,最大曲率Curmax、最小曲率Curmin,以及X方向曲率Curx、Y方向曲率Cury和平均曲率Curmean作为后续图像处理的补充输入信息,具体的计算方式如下:
Curx=Zxx
Cury=Zyy
Figure BDA0003873245510000161
F=ZxZy
Figure BDA0003873245510000162
Figure BDA0003873245510000171
Figure BDA0003873245510000172
Figure BDA0003873245510000173
Figure BDA0003873245510000174
Figure BDA0003873245510000175
Figure BDA0003873245510000176
本发明还包括一种表面缺陷检测系统1的实施例,如图6和图9所示,表面缺陷检测系统1包括承载结构10、多个光源20、图像获取装置30和控制系统40,其中承载结构10用于承载被检测表面2,在本发明的优选实施例中,承载结构10为传送带,能够带动被检测表面2相对于光源20和图像获取装置30运动。例如承载结构10还包括驱动单元(图中未示出),通过控制系统40控制驱动单元,由驱动单元带动被检测表面2与预设的路径运动。
多个光源20设置在预设位置上,并且能够以不同的入射角向被检测表面投射光线,优选的,光源20相对于被检测表面的入射角能够在一定范围内调整,以针对具有不同漫反射系数的被检测表面。进一步的,根据本发明的优选实施例,多个光源20可以单独控制开启和关闭,能够通过控制系统40控制光源20以预设的频率和时序开启,以便于图像获取装置30获取与光源20相对应的图像。
图像获取装置30例如是工业线扫相机,能够用于获取光源20发射的光纤在被检测表面2上的反射光,图像获取装置30的光轴相对于被检测表面2的角度同样可以设置成能够在一定角度范围内调整,并且图像获取装置30同样与控制系统40信号连接,控制系统40能够执行如前所述的表面缺陷检测方法。例如控制图像获取装置30开启和关闭与光源20的预设时序相对应,进一步的,与承载结构10的运动距离相对应,以获取被检测表面2中全部范围的图像。
在表面缺陷检测系统1中,多个光源20在被检测表面2上形成大致相互垂直的线性照射范围,或承载结构10带动被检测表面2相对于光源20转动,以在被检测表面2上形成大致相互垂直的线性照射范围。
本发明还包括一种计算机可读存储介质的实施例,包括存储于其上的计算机可执行命令,可执行命令在被处理器执行时实施如前所述的表面缺陷检测方法。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (16)

1.一种表面缺陷检测方法,利用多个从不同角度入射光源照射被检测表面,所述表面缺陷检测方法包括:
分别获取多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度;
获取被检测表面在不同光源照射下的图像,并根据不同光源对应的图像获得被检测表面中被照射部分与光源对应的灰度值;
根据灰度值,对应光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度,计算表面法向量和/或被检测表面中被照射部分的光泽度;
根据表面法向量,计算被检测表面中被照射部分的曲率;
根据被检测表面中被照射部分的曲率和/或光泽度,判断被检测表面的表面缺陷。
2.根据权利要求1所述的表面缺陷检测方法,还包括获取被检测表面的表面粗糙度,被检测表面在不同光源照射下呈现的灰度值,与被检测表面的表面粗糙度相关。
3.根据权利要求1所述的表面缺陷检测方法,其中多个光源的入射角度,以及图像获取装置的光轴相对于被检测表面的角度通过硬件标定获得。
4.根据权利要求1所述的表面缺陷检测方法,其中多个光源以不同的入射角照射向被检测表面的同一位置,所述获取被检测表面在不同光源照射下的图像的步骤包括:
控制不同光源以预设的时序交替点亮;
控制图像获取装置获取被检测表面被不同光源照射时对应的图像。
5.根据权利要求4所述的表面缺陷检测方法,其中光源在被检测表面上形成线性照射范围,所述计算被检测表面中被照射部分的曲率的步骤为计算被检测表面在光源形成的线性照射范围方向上的曲率。
6.根据权利要求5所述的表面缺陷检测方法,其中所述获取被检测表面在不同光源照射下的图像的步骤还包括:
控制光源在被检测表面上形成至少两个不同方向的线性照射范围,并获取对应的图像,以分别计算被检测表面中同一位置在至少两个线性照射范围方向上的曲率。
7.根据权利要求6所述的表面缺陷检测方法,其中所述控制光源在被检测表面上形成至少两个不同方向的线性照射范围的步骤包括:
控制被检测表面和光源发生相对转动,以改变光源在被检测表面上形成的线性照射范围相对于被检测表面的角度。
8.根据权利要求6所述的表面缺陷检测方法,其中多个所述光源以不同入射方向设置,以在被检测表面上形成至少两个不同方向的线性照射范围。
9.根据权利要求7或8所述的表面缺陷检测系统,其中所述光源在被检测表面上形成两个大致相互垂直的线性照射范围。
10.根据权利要求5所述的表面缺陷检测方法,其中所述获取被检测表面在不同光源照射下的图像的步骤包括:
控制被检测表面和光源发生相对运动,以改变光源照射在被检测表面上的位置,用于计算被检测表面的全部范围的曲率。
11.根据权利要求1-8中任一项所述的表面缺陷检测方法,其中多个所述光源中至少存在一个光源以不小于75°的入射角照射被检测表面;所述表面缺陷检测方法还包括:
获取灰尘背景图,所述灰尘背景图为入射角不小于75°的光源对应的图像;
通过灰尘背景图识别被检测表面上的非缺陷特征。
12.根据权利要求5-8中任一项所述的表面缺陷检测方法,其中所述计算被检测表面中被照射部分的曲率的步骤包括:
根据表面法向量计算被检测表面在不同的线性照射范围方向上的梯度变化;
根据梯度变化计算在不同的线性照射范围方向上的单向曲率;和
根据梯度变化计算被检测表面的最大曲率、最小曲率和平均曲率。
13.一种表面缺陷检测系统,包括:
承载结构,所述承载结构用于承载被检测表面;
多个光源,所述光源设置在预设位置,并能够以不同的入射角向所述被检测表面投射光线;
图像获取装置,所述图像获取装置能够获取所述光源发射的光线在所述被检测表面上的反射光;和
控制系统,所述控制系统与所述光源和所述图像获取装置信号连接,并能够执行如权利要求1-12中任一项所述的表面缺陷检测方法。
14.根据权利要求13所述的表面缺陷检测装置,其中所述控制系统还与所述承载结构信号连接,并控制承载结构带动所述被检测表面沿预设路径运动。
15.根据权利要求13或14所述的表面缺陷检测系统,其中多个所述光源在所述被检测表面上形成大致相互垂直的线性照射范围;或所述承载结构带动所述被检测表面相对于所述光源转动,以在被检测表面上形成大致相互垂直的线性照射范围。
16.一种计算机可读存储介质,包括存储于其上的计算机可执行命令,所述可执行命令在被处理器执行时实施如权利要求1-12中任一项所述的表面缺陷检测方法。
CN202211204989.9A 2022-09-29 2022-09-29 表面缺陷检测方法及表面缺陷检测系统 Pending CN115575399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211204989.9A CN115575399A (zh) 2022-09-29 2022-09-29 表面缺陷检测方法及表面缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211204989.9A CN115575399A (zh) 2022-09-29 2022-09-29 表面缺陷检测方法及表面缺陷检测系统

Publications (1)

Publication Number Publication Date
CN115575399A true CN115575399A (zh) 2023-01-06

Family

ID=84583608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211204989.9A Pending CN115575399A (zh) 2022-09-29 2022-09-29 表面缺陷检测方法及表面缺陷检测系统

Country Status (1)

Country Link
CN (1) CN115575399A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000063681A2 (de) * 1999-04-19 2000-10-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildbearbeitung zur vorbereitung einer texturnalyse
US20060181700A1 (en) * 2004-12-19 2006-08-17 Scott Andrews System and method for signal processing for a workpiece surface inspection system
WO2016208626A1 (ja) * 2015-06-25 2016-12-29 Jfeスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
US20200320680A1 (en) * 2019-04-05 2020-10-08 Keyence Corporation Image Inspection System And Image Inspection Method
CN112798617A (zh) * 2021-01-28 2021-05-14 江苏骠马智能工业设计研究有限公司 类镜面物体的缺陷检测装置及其检测方法
CN113538432A (zh) * 2021-09-17 2021-10-22 南通蓝城机械科技有限公司 一种基于图像处理的零件缺陷检测方法及系统
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN115420750A (zh) * 2022-09-29 2022-12-02 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统、表面缺陷检测方法及表面检测产线
CN115436383A (zh) * 2022-09-29 2022-12-06 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线
CN218629551U (zh) * 2022-09-29 2023-03-14 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线
CN218788002U (zh) * 2022-09-29 2023-04-04 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000063681A2 (de) * 1999-04-19 2000-10-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildbearbeitung zur vorbereitung einer texturnalyse
US20060181700A1 (en) * 2004-12-19 2006-08-17 Scott Andrews System and method for signal processing for a workpiece surface inspection system
WO2016208626A1 (ja) * 2015-06-25 2016-12-29 Jfeスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
US20200320680A1 (en) * 2019-04-05 2020-10-08 Keyence Corporation Image Inspection System And Image Inspection Method
CN112798617A (zh) * 2021-01-28 2021-05-14 江苏骠马智能工业设计研究有限公司 类镜面物体的缺陷检测装置及其检测方法
CN113658155A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于光度立体的物体表面瑕疵检测分析方法及装置
CN113538432A (zh) * 2021-09-17 2021-10-22 南通蓝城机械科技有限公司 一种基于图像处理的零件缺陷检测方法及系统
CN115420750A (zh) * 2022-09-29 2022-12-02 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统、表面缺陷检测方法及表面检测产线
CN115436383A (zh) * 2022-09-29 2022-12-06 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线
CN218629551U (zh) * 2022-09-29 2023-03-14 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线
CN218788002U (zh) * 2022-09-29 2023-04-04 梅卡曼德(上海)机器人科技有限公司 表面缺陷检测系统及表面检测产线

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李清泉等: "三维空间数据的实时获取、建模与可视化", vol. 1, 31 December 2003, 武汉大学出版社, pages: 207 - 209 *

Similar Documents

Publication Publication Date Title
US11216687B2 (en) Image detection scanning method for object surface defects and image detection scanning system thereof
CN102023164B (zh) 用于检测透明平板的局部缺陷的装置和方法
US20080111989A1 (en) Transparent material inspection system
US10931924B2 (en) Method for the generation of a correction model of a camera for the correction of an aberration
WO2011064969A1 (ja) 検査装置、三次元形状測定装置、構造物の製造方法
CN108760765A (zh) 一种基于侧视相机拍摄的表面损伤缺陷检测装置及方法
ES2898407T3 (es) Sistema y método para desarrollar información de superficie tridimensional correspondiente a una lámina de vidrio contorneada
JP5681021B2 (ja) 表面性状測定装置
KR101630596B1 (ko) 차량하부 촬영장치 및 이를 운용하는 차량하부 촬영방법
CN107132030B (zh) 一种镜片焦距检测方法及装置
ES2370015T3 (es) Sistema y método de inspección.
US8553082B2 (en) Distortion inspecting apparatus and distortion inspecting method
CN218788002U (zh) 表面缺陷检测系统及表面检测产线
KR20080111653A (ko) 카메라를 이용하여 측정 프로브의 원점을 보정하는 3차원측정장치
CN218629551U (zh) 表面缺陷检测系统及表面检测产线
CN115420750A (zh) 表面缺陷检测系统、表面缺陷检测方法及表面检测产线
CN104180772A (zh) 一种视觉检测装置
CN115436383A (zh) 表面缺陷检测系统及表面检测产线
CN209858420U (zh) 一种镀膜玻璃颜色检测机构
CN115575399A (zh) 表面缺陷检测方法及表面缺陷检测系统
US20130162816A1 (en) Device for measuring the shape of a mirror or of a specular surface
CN112005104B (zh) 测量方法以及测量装置
CN111220087B (zh) 表面形貌检测方法
JP3154425U (ja) 透光体の検査方法及び検査装置
JP2008224540A (ja) 歪み検査方法および検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination