CN111344554A - 外观缺陷检测方法及装置 - Google Patents

外观缺陷检测方法及装置 Download PDF

Info

Publication number
CN111344554A
CN111344554A CN201880071426.2A CN201880071426A CN111344554A CN 111344554 A CN111344554 A CN 111344554A CN 201880071426 A CN201880071426 A CN 201880071426A CN 111344554 A CN111344554 A CN 111344554A
Authority
CN
China
Prior art keywords
image
appearance
imaging module
detected
polarization angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880071426.2A
Other languages
English (en)
Inventor
闫静
舒远
王星泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heren Technology Shenzhen Co ltd
Original Assignee
Heren Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heren Technology Shenzhen Co ltd filed Critical Heren Technology Shenzhen Co ltd
Publication of CN111344554A publication Critical patent/CN111344554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种外观缺陷检测装置,包括至少一个拍摄方向的成像模块(10A、10B、10C、10D),设置于成像模块(10A、10B、10C、10D)的拍摄视角中的偏振角度调节模块(20A、20B、20C、20D);偏振角度调节模块(20A、20B、20C、20D)用于调节进入成像模块(10A、10B、10C、10D)的检材表面反射光的偏振角度;成像模块(10A、10B、10C、10D)用于拍摄至少一个偏振角度下的与偏振角度对应的检材表面的外观图像;检测装置还包括与成像模块(10A、10B、10C、10D)连接的处理器(30、1002),用于获取至少一个成像模块(10A、10B、10C、10D)采集的与偏振角度对应的外观图像,对外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合,根据规格化的外观图像的集合检测检材的表面缺陷。有益效果:可提高外观缺陷检测的准确度。

Description

外观缺陷检测方法及装置
技术领域
本发明涉及图像处理领域,特别涉及一种外观缺陷检测方法及装置。
背景技术
产品的外观缺陷检测属于机器视觉技术的一种,是机器视觉检测的一个重要部分,而机器视觉检测系统的广泛应用促进了企业工厂产品高质量的生产与制造业智能自动化的发展,可以很大程度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端,在现代工业中得到越来越广泛的研究和应用。
目前现有的机器视觉检测系统主要基于摄像头拍摄产品外观图像,通过图像处理和识别技术识别产品外表面的瑕疵和缺陷,然而,传统技术中的这种方法对一些具有高反射特性的产品、半透明特性的产品,或具有曲面特性的产品以及金属类产品等的成像效果不理想。这是因为金属表面和半透明产品表面的反光会在传统技术中的摄像头成像的图像中产生光斑或光点,以及在某些角度下的阴影,容易在后续的图像处理过程中被误识别为产品表面的瑕疵;另一种情况下,光斑刚好与表面瑕疵处于同一位置时,即使图像处理算法能够过滤掉光斑,但同时也会忽略掉光斑处的表面瑕疵和缺陷,这样就使的传统技术中的外观缺陷检测方法的准确度较低,容易造成误检和漏检。
发明内容
基于此,为解决现有技术中外观缺陷检测方法对于金属或半透明等材质的检材的表面检测易受反射光斑影响,从而导致的准确度较低的问题,特提出了一种外观缺陷检测装置。
一种外观缺陷检测装置,包括至少一个拍摄方向的成像模块,设置于所述成像模块的拍摄视角中的偏振角度调节模块;
所述偏振角度调节模块用于调节进入所述成像模块的检材表面反射光的偏振角度;
所述成像模块用于拍摄至少一个所述偏振角度下的与偏振角度对应的所述检材表面的外观图像;
所述装置还包括与所述成像模块连接的处理器,用于获取所述至少一个成像模块采集的与偏振角度对应的外观图像,对所述外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合,根据所述规格化的外观图像的集合检测所述检材的表面缺陷。
在其中一个实施例中,所述装置还包括光源。
在其中一个实施例中,所述偏振角度调节模块为设置有两个或两个以上的起偏器的轮盘,用于通过转动所述轮盘切换对应所述成像模块的起偏器,所述两个或两个以上的起偏器对应不同的偏振角度。
在其中一个实施例中,所述起偏器包括偏振片、尼科耳棱镜和旋光片中的至少一种。
在其中一个实施例中,所述处理器还用于将所述与检材位置对应的规格化的外观图像的集合进行图像融合,得到与检材位置对应的融合图像。
在其中一个实施例中,所述处理器还用于对所述融合图像进行图像处理,检测所述融合图像中的与检材位置对应的表面缺陷。
在其中一个实施例中,所述处理器还用于将所述与检材位置对应的规格化的外观图像的集合中的外观图像输入到已训练的缺陷模板识别模型中,检测与所述检材位置对应的表面缺陷。
在其中一个实施例中,所述处理器还用于获取至少一个成像模块拍摄的矩形检材表面的参考图像;获取所述矩形检材的顶点坐标及位置,提取所述参考图像中所述矩形检材图像区域的角点坐标及相对位置;通过建立所述顶点坐标及位置与所述角点坐标及相对位置的映射生成投影变换模型,所述投影变换模型用于对所述外观图像进行投影校正和/或图像配准;
所述处理器还用于根据所述投影变换模型对所述外观图像进行投影校正和/或图像配准。
此外,为解决现有技术中外观缺陷检测方法对于金属或半透明等材质的检材的表面检测易受反射光斑影响,从而导致的准确度较低的问题,针对前述的外观缺陷检测装置,还提出了一种图像校正方法,该方法基于前述外观缺陷检测装置的处理器。
一种图像校正方法,包括:
获取至少一个成像模块拍摄的矩形检材表面的参考图像;
获取所述矩形检材的顶点坐标及位置,提取所述参考图像中所述矩形检材图像区域的角点坐标及相对位置;
通过建立所述顶点坐标及位置与所述角点坐标及相对位置的映射生成投影变换模型,所述投影变换模型用于对所述外观图像进行投影校正和/或图像配准。
此外,为解决现有技术中外观缺陷检测方法对于金属或半透明等材质的检材的表面检测易受反射光斑影响,从而导致的准确度较低的问题,针对前述的外观缺陷检测装置,还提出了一种外观缺陷检测方法,该方法基于前述外观缺陷检测装置的处理器。
一种外观缺陷检测方法,包括:
获取成像模块拍摄的与检材对应的至少一个偏振角度下的与偏振角度对应的检材表面的外观图像;
对外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合;
根据所述规格化的外观图像的集合检测所述检材的表面缺陷。
在其中一个实施例中,所述方法还包括:
将所述与检材位置对应的规格化的外观图像的集合中的外观图像输入到已训练的缺陷模板识别模型中;
通过所述缺陷模板识别模型检测与所述检材位置对应的表面缺陷。
在其中一个实施例中,所述方法还包括:
将所述与检材位置对应的规格化的外观图像的集合进行图像融合,得到与检材位置对应的融合图像;
对所述融合图像进行图像处理,检测所述融合图像中的与检材位置对应的表面缺陷。
实施本发明实施例,将具有如下有益效果:
采用了上述外观缺陷检测装置及方法,不仅在多个方位设置有成像模块,可拍摄多个视角的外观图像用于检测,每个成像模块还可拍摄一幅或一幅以上的与预设的偏振角度对应的外观图像,与传统技术中单一的摄像头的外观图像的采集方式相比,当某个方位下的某个偏振角度的检材表面的反射光受反射光斑影响较大时,还可根据其他方位下的其他偏振角度下拍摄的外观图像检测检材表面存在的缺陷,因此对于金属或半透明的检材,可将光斑产生的干扰减小,使得检材表面的特征信息的采集可在多方位多偏振角度下进行,而不会由于某个方位下某个偏振角度下的光斑而导致检材表面的特征信息的丧失,从而使得采集的检材表面的特征信息更加全面,增加了外观缺陷检测的准确度。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中一种外观缺陷检测装置的结构示意图;
图2为一个实施例中一种外观缺陷检测方法的流程图;
图3为一个实施例中一种图像校正方法的流程图;
图4为图1实施例中成像模块在4个视角拍摄的检材外观图像;
图5为图4实施例中通过投影校正和/或图像配准后得到的规格化的外观图像的示意图;
图6为图4实施例中根据规格化的外观图像得到的融合图像的示意图;
图7为一个实施例中执行上述外观缺陷检测方法和/或图像校正方法的计算机系统的系统架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为解决传统技术中的基于机器视觉检测的外观缺陷检测方法存在的准确度不高的技术问题,本发明特提供了一种外观缺陷检测装置,包括:至少一个拍摄方向的成像模块,设置于成像模块的拍摄视角中的偏振角度调节模块,以及与成像模块连接的处理器30。成像模块用于拍摄至少一个偏振角度下的与偏振角度对应的检材表面的外观图像。
具体的,参考图1所示,图1展示的是一个检测弧形金属板表面缺陷的实施例中外观缺陷检测装置的示意图,在本实施例中,在4个方位设置有成像模块,如图1中,分别为成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D,成像模块可以是摄像头,也可以是其他光学成像元件,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D虽设置在4个方位,但其拍摄视角方向均对准检材。在本实施例中,可设置置物台,并在置物台上划定检测区域,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D可设置在置物台上方同一平面的四个角上,拍摄视角对准该检测区域。当对检材进行外观检测时,只需要将检材置放在置物台的检测区域中,成像模块即可从多个角度对其进行拍摄得到其外观图片。
再参考图1所示,在本实施例中,每个成像模块的拍摄视角上都设置有相应的偏振角度调节模块,分别为偏振角度调节模块一20A、偏振角度调节模块二20B、偏振角度调节模块三20C和偏振角度调节模块四20D,编号分别与相应的成像模块对应。当成像模块拍摄图像时,均为透过相应的偏振角度调节模块成像,即成像模块成像时接收的检材表面的反射光是透过相应的偏振角度调节模块到该成像模块的感光元件上的。例如,成像模块一10A拍摄的检材表面的图像,是通过检材表面的反射光透过偏振角度调节模块一20A之后在成像模块一10A的感光元件上成像的。
在本实施例中,如图1所示,偏振角度调节模块为设置有两个或两个以上的起偏器的轮盘,用于通过转动该轮盘切换对应成像模块的起偏器,该两个或两个以上的起偏器对应不同的偏振角度。
以图1中的偏振角度调节模块二20B为例,该轮盘上设置有6个孔,且均匀设置在轮盘的圆周上,每个孔之间均为60度夹角,孔内设置有具有不同偏振方向的起偏器,检材表面的反射光从孔中穿过时,会透射所述起偏器,并具有了相应的偏振角度。起偏器可以是偏振片、尼科耳棱镜和旋光片中的至少一种。
通过转动轮盘可切换轮盘上的起偏器置于相应的成像模块二10B的拍摄视角中,使得同一时间只有一个起偏器置于成像模块二10B的拍摄视角中,使得成像模块二10B同一时间只会对相应位置的起偏器的偏振方向的光的成像。同样通过转动轮盘切换起偏器,成像模块二10B即可多次成像,在偏振角度调节模块二20B的轮盘上设置有6个起偏器时,通过转动轮盘,对于同一检材,成像模块二10B即可拍摄6副不同偏振角度下的检材的外观图像。
以此类推,以本实施例图1中的外观缺陷检测装置为例,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D在不同的偏振角度下即可最多拍摄4×6共24副图像。当然,根据需要,即使本实施例中偏振角度调节模块一20A、偏振角度调节模块二20B、偏振角度调节模块三20C和偏振角度调节模块四20D分别配置了6片不同偏振角度的起偏器,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D也不需要针对每一个偏振角度拍摄一张照片,也就是说,本实施例中,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D在不同的偏振角度下也可拍摄少于24副图像,拍摄的图像越多,越精确,但实际应用中,由于工艺需要,或处理耗时的需要,也可灵活地减少针对同一检材拍摄图像的数量。
在本实施例中,处理器30还可与偏振角度调节模块连接,通过控制轮盘转动切换起偏器,也控制成像模块在起偏器对应的相应的偏振角度下拍摄图像,实现自动多方位多偏振角度下的图像自动采集。在其他实施例中,也可通过手动方式转动轮盘切换起偏器。
在其他实施例中,偏振角度调节模块也可设置成非水平转轮的切换方式,例如,也可设置成垂直转轮的方式,即转轮平面与成像模块的入光轴平行,而起偏器的入光面与转轮平面垂直。
在其他实施例中,偏振角度调节模块也可不采用转轮的方式,而采用夹具夹取不同偏振角度的偏振片置于成像模块的拍摄视角中,或采用其他的切换偏振角度的方式。
本实施例中的外观缺陷检测装置是针对弧形金属板外表面检测的一个应用场景,在检测区域上方还设置有单一的光源40,而在其他实施例中,若对于其他具有立体结构的产品外部结构,可在一个以上的位置设置一个以上的光源,其目的在于消除单光源产生的阴影。
需要说明的是,在其他实施例中,成像模块也可根据需要设置其他的数目,小于4个或多于4个均可,其目的之一在于消除阴影对检材表面的干扰,因此只要设置的成像模块的最小数目能够防止拍摄的图片中不含阴影即可,另一目的在于规避拍摄角度单一时,拍摄角度内刚好有大量反光的不利因素。在设置多个成像模块时,拍摄角度尽量分散,保证成像模块相互之间的成像角度差异最大化。
另外,在其他实施例中,偏振角度调节模块也可根据需要设置多个,且偏振角度调节模块也不需要与成像模块一一对应,例如,若设置了成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D,也可仅相应地设置偏振角度调节模块一20A、偏振角度调节模块二20B、偏振角度调节模块三20C也可。同样,不同的偏振角度调节模块也可设置不同的偏振角度,例如,以转轮切换偏振片调节偏振角度的偏振角度调节模块,偏振角度调节模块一20A可在转轮上设置6片偏振角度不同的偏振片,转轮每60度设置一片,而偏振角度调节模块二20B则可仅在轮盘上设置3片偏振角度不同的偏振片,轮盘每120度设置一片,且偏振角度调节模块一20A与偏振角度调节模块二20B上每一片偏振片的偏振角度均可不同,也可部分相同。
采用了此种方式设置多方位的成像模块,以及每个成像模块设置多偏振角度的偏振角度调节模块,可使得成像模块可拍摄多方位下的多个偏振角度的外观图像,这些外观图像由于拍摄方位全,偏振角度多,因此某些光照角度下导致的检材表面出现的反光、阴影等影响拍摄图像中的表面缺陷的特征信息的情况,可通过其他方位和相应偏振角度下拍摄的外观图像进行弥补。也就是说,即使某一成像模块由于方位不佳,拍摄时存在大量反光,但由于其采用了多个偏振角度去拍摄,可在其他偏振角度下获得成像良好的图像,同时其他方位的成像模块也在其他方位和相应的多个偏振角度下拍摄了检材的外观图像,这样拍摄的多方位多偏振角度的外观图像的集合即最大程度地保留了检材表面缺陷的特征信息,从而方便后续地表面缺陷的特征信息的图像识别工作。
在本实施例中,成像模块在拍摄了至少一个偏振角度下的与偏振角度对应的检材表面的外观图像之后,将其传送给处理器,处理器经过图像处理,即可得到检材的规格化的外观图像的集合。处理器30则用于执行以下外观缺陷检测方法,该方法的执行基于计算机程序,该计算机程序运行于处理器30之上,处理器30可以是任意基于冯诺依曼体系的计算机系统。
具体的,如图2所示,该方法包括:
步骤S102:获取成像模块拍摄的与检材对应的至少一个偏振角度下的与偏振角度对应的检材表面的外观图像。
如前所述,在本实施例中,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D分别将各自拍摄的同一检材的外观图像传送给处理器30,由于起偏器的偏振角度为预设的固定值,因此,处理器在接收到成像模块拍摄的外观图像时,也可获取到相应外观图像是在什么方位(由传送来的成像模块的方位确定)以及什么偏振角度(由成像模块拍摄时采用的起偏器的偏振角度的属性确定)下拍摄的,从而可建立外观图像和方位与偏振角度的对应关系,然后即可对接收到的外观图像进行规格化处理。
步骤S104:对外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合。
步骤S106:根据所述规格化的外观图像的集合检测所述检材的表面缺陷。
在本实施例中,处理器30针对每一个方位(对应具体的成像模块)预先设置有投影变换模型,当在对同一方位的成像模块拍摄的至少一幅外观图像进行规格化时,通过该投影变换模型将其进行投影校正(倾斜角度拍摄的梯形图像转换为矩形图像)和/或图像配准(将外观图像与实际检材区域的位置对应)即可得到规格化的外观图像。
在本实施例中,处理器30可用于通过以下图像校正方法预先生成投影变换模型,该图像校正方法的执行基于计算机程序,该计算机程序运行于处理器30之上,处理器30可以是任意基于冯诺依曼体系的计算机系统。
具体的,如图3所示,可包括:
步骤S202:获取至少一个成像模块拍摄的矩形检材表面的参考图像。
步骤S204:获取所述矩形检材的顶点坐标及位置,提取所述参考图像中所述矩形检材图像区域的角点坐标及相对位置。
步骤S206:通过建立所述顶点坐标及位置与所述角点坐标及相对位置的映射生成投影变换模型,所述投影变换模型用于对所述外观图像进行投影校正和/或图像配准。
参考图4所示,图4展示的是按照图1所示的4方位设置成像模块的外观缺陷检测装置的参考图像采集过程。在图4中,首先在置物台上防止矩形板材的检材,可看出,成像模块一10A、成像模块二10B、成像模块三10C和成像模块四10D由于拍摄视角并非垂直于检材所在平面,因此得到的参考图像均为梯形。在本实施例中,在防止矩形板材的检材时,可记录矩形检材在置物台上的位置(例如以矩形检材一顶点作为矩形检材在置物台上的定位点),然后记录矩形检材4个角的顶点的相对位置,即矩形的长和宽。然后在校正某一方位的成像模块时,获取该成像模块拍摄的参考图像,获取其中的检材图像区域,获取检材图像区域在参考图像中的相对位置,以及检材图像区域的角点在参考图像中的位置。例如图4中,若校正成像模块一10A,生成成像模块一10A对应的投影变换模型,则可获取成像模块一10A拍摄的参考图像中检材图像区域的角点在参考图像中的角点坐标和相对位置。然后建立所述顶点坐标及位置与所述角点坐标及相对位置的映射,即可生成成像模块一10A投影变换模型,后续成像模块一10A拍摄的外观图像中的梯形的检材图像区域,通过该成像模块一10A投影变换模型的角点拉伸,即可实现投影校正,同时对相对位置进行平移,即可实现图像配准,最终将梯形的外观图像转换成相当于垂直检材平面拍摄的规格化的外观图像,例如,参考图5所示。
相应地,在每个成像模块得到校正,生成了相应的投影变换模型之后,即可执行上述步骤S104,对外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合。同样参考图4和图5所示,对于置物台上放置的同一检材,图4即为成像模块拍摄的外观图像的集合,图5即为通过投影校正和/或图像配准之后得到的规格化的外观图像的集合。需要说明的是,同一方位的成像模块可拍摄两幅或两幅以上的对应不同偏振角度的外观图像,但因为其拍摄视角相同,均可采用相同的投影变换模型转换为相应的规格化的外观图像。
在本实施例中,处理器可用以将所述与检材位置对应的规格化的外观图像的集合中的外观图像输入到已训练的缺陷模板识别模型中,检测与检材位置对应的表面缺陷。
如前所述,在图1对应的4方位设置,每方位设置6个偏振角度的外观缺陷检测装置的实施例中,最多可拍摄并通过投影校正和/或图像配准得到24幅规格化的外观图像。在本实施例中,使用基于神经网络的机器学习方法对规格化的外观图像进行缺陷识别。可预先准备多种情况下的表面有缺陷的检材,拍摄多方法多偏振角度下的图像,并在规格化后作为样本图像,输入到机器学习的缺陷模板识别模型中进行训练,同时也可将相应的成像模块的方位以及对应的偏振角度作为参数与样本图像输入到缺陷模板识别模型中进行训练,当缺陷模板识别模型的识别置信率达到预设标准时,即可将上述集合中的规格化的外观图像输入到训练好的缺陷模板识别模型中进行识别,即可在符合标准的置信空间内检测到检材的表面缺陷。
在另一个实施例中,也可通过图像识别的方式根据规格化的外观图像的集合识别检材表面缺陷,具体的,处理器30还用于将所述与检材位置对应的规格化的外观图像进行图像融合,得到与检材位置对应的融合图像。处理器30还用于对所述融合图像进行图像处理,检测所述融合图像中的与检材位置对应的表面缺陷。
如前所述,检材的表面缺陷在不同的拍摄方位下,以及不同的偏振角度下的外观图像中的特征信息会存在遗失的情况,而通过将规格化的外观图像的集合中的多幅规格化的外观图像融合,如图6所示,一方面由于是规格化的外观图像,因此同一表面缺陷在不同外观图像中的位置相同,另一方面,通过图像融合,同一表面缺陷散落在各个方位下的各个偏振方向下的特征信息被融合,融合后的图像最大化地反应了表面缺陷的特征信息,通过对特征信息进行图像识别即可检测到检材的表面缺陷,而规避掉部分方位和偏振角度下拍摄的图片可能会遗失表面缺陷的特征信息的情况。
在其他实施例中,对于融合后的图像,也可输入到已训练的缺陷模板识别模型中,检测与检材位置对应的表面缺陷。也就是说,也可通过机器学习的方式对融合后的图像进行检材表面缺陷的检测。具体方式与单幅规格化的外观图像的检测方式相似,以下不在赘述。
实施本发明实施例,将具有如下有益效果:
采用了上述外观缺陷检测装置及方法,不仅在多个方位设置有成像模块,可拍摄多个视角的外观图像用于检测,每个成像模块还可拍摄一幅或一幅以上的与预设的偏振角度对应的外观图像,与传统技术中单一的摄像头的外观图像的采集方式相比,当某个方位下的某个偏振角度的检材表面的反射光受光斑影响较大时,还可根据其他方位下的其他偏振角度下拍摄的外观图像检测检材表面存在的缺陷,因此对于金属或半透明的检材,可将反射光斑产生的干扰减小,使得检材表面的特征信息的采集可在多方位多偏振角度下进行,而不会由于某个方位下某个偏振角度下的光斑而导致检材表面的特征信息的丧失,从而使得采集的检材表面的特征信息更加全面,因此增加了外观缺陷检测的准确度。
在一个实施例中,如图7所示,图7展示了一种运行上述外观缺陷检测方法和图像校正方法的基于冯诺依曼体系的计算机系统。具体的,可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中,外部输入接口1001可选的可至少包括网络接口10012和USB接口10014。存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034。输出接口1004可至少包括显示屏10042等设备。
在本实施例中,本方法的运行基于计算机程序,该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统的外存储器10032中,在运行时被加载到内存储器10034中,然后被编译为机器码之后传递至处理器1002中执行,从而使得基于冯诺依曼体系的计算机系统中形成逻辑上的计算机程序模块。且在上述外观缺陷检测方法和图像校正方法执行过程中,输入的参数均通过外部输入接口1001接收,并传递至存储器1003中缓存,然后输入到处理器1002中进行处理,处理的结果数据或缓存于存储器1003中进行后续地处理,或被传递至输出接口1004进行输出。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (12)

1.一种外观缺陷检测装置,其特征在于,包括至少一个拍摄方向的成像模块,设置于所述成像模块的拍摄视角中的偏振角度调节模块;
所述偏振角度调节模块用于调节进入所述成像模块的检材表面反射光的偏振角度;
所述成像模块用于拍摄至少一个所述偏振角度下的与偏振角度对应的所述检材表面的外观图像;
所述装置还包括与所述成像模块连接的处理器,用于获取所述至少一个成像模块采集的与偏振角度对应的外观图像,对所述外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合,根据所述规格化的外观图像的集合检测所述检材的表面缺陷。
2.根据权利要求1所述的外观缺陷检测装置,其特征在于,所述装置还包括光源。
3.根据权利要求1所述的外观缺陷检测装置,其特征在于,所述偏振角度调节模块为设置有两个或两个以上的起偏器的轮盘,用于通过转动所述轮盘切换对应所述成像模块的起偏器,所述两个或两个以上的起偏器对应不同的偏振角度。
4.根据权利要求3所述的外观缺陷检测装置,其特征在于,所述起偏器包括偏振片、尼科耳棱镜和旋光片中的至少一种。
5.根据权利要求1至4任一项所述的外观缺陷检测装置,其特征在于,所述处理器还用于将所述与检材位置对应的规格化的外观图像的集合进行图像融合,得到与检材位置对应的融合图像。
6.根据权利要求5所述的外观缺陷检测装置,其特征在于,所述处理器还用于对所述融合图像进行图像处理,检测所述融合图像中的与检材位置对应的表面缺陷。
7.根据权利要求1至4任一项所述的外观缺陷检测装置,其特征在于,所述处理器还用于将所述与检材位置对应的规格化的外观图像的集合中的外观图像输入到已训练的缺陷模板识别模型中,检测与所述检材位置对应的表面缺陷。
8.根据权利要求1至4任一项所述的外观缺陷检测装置,其特征在于,所述处理器还用于获取至少一个成像模块拍摄的矩形检材表面的参考图像;获取所述矩形检材的顶点坐标及位置,提取所述参考图像中所述矩形检材图像区域的角点坐标及相对位置;通过建立所述顶点坐标及位置与所述角点坐标及相对位置的映射生成投影变换模型,所述投影变换模型用于对所述外观图像进行投影校正和/或图像配准;
所述处理器还用于根据所述投影变换模型对所述外观图像进行投影校正和/或图像配准。
9.一种图像校正方法,该方法基于权利要求1至8任一项所述的外观缺陷检测装置的处理器,所述方法包括:
获取至少一个成像模块拍摄的矩形检材表面的参考图像;
获取所述矩形检材的顶点坐标及位置,提取所述参考图像中所述矩形检材图像区域的角点坐标及相对位置;
通过建立所述顶点坐标及位置与所述角点坐标及相对位置的映射生成投影变换模型,所述投影变换模型用于对所述外观图像进行投影校正和/或图像配准。
10.一种外观缺陷检测方法,其特征在于,基于权利要求1至8任一项所述的HDR图像成像系统中的处理器,所述方法包括:
获取成像模块拍摄的与检材对应的至少一个偏振角度下的与偏振角度对应的检材表面的外观图像;
对外观图像进行投影校正和/或图像配准,得到与检材位置对应的规格化的外观图像的集合;
根据所述规格化的外观图像的集合检测所述检材的表面缺陷。
11.根据权利要求10所述的外观缺陷检测方法,其特征在于,所述方法还包括:
将所述与检材位置对应的规格化的外观图像的集合中的外观图像输入到已训练的缺陷模板识别模型中;
通过所述缺陷模板识别模型检测与所述检材位置对应的表面缺陷。
12.根据权利要求10所述的外观缺陷检测方法,其特征在于,所述方法还包括:
将所述与检材位置对应的规格化的外观图像的集合进行图像融合,得到与检材位置对应的融合图像;
对所述融合图像进行图像处理,检测所述融合图像中的与检材位置对应的表面缺陷。
CN201880071426.2A 2018-12-26 2018-12-26 外观缺陷检测方法及装置 Pending CN111344554A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123967 WO2020132961A1 (zh) 2018-12-26 2018-12-26 外观缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN111344554A true CN111344554A (zh) 2020-06-26

Family

ID=71128452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071426.2A Pending CN111344554A (zh) 2018-12-26 2018-12-26 外观缺陷检测方法及装置

Country Status (2)

Country Link
CN (1) CN111344554A (zh)
WO (1) WO2020132961A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570708A (zh) * 2021-07-30 2021-10-29 重庆市特种设备检测研究院 缺陷立体建模方法、装置及计算机可读存储介质
CN113628255A (zh) * 2021-07-28 2021-11-09 武汉三江中电科技有限责任公司 一种三光融合无损检测图像配准算法
CN114103494A (zh) * 2020-09-01 2022-03-01 佳能株式会社 图像处理装置、其控制方法和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125368A1 (en) * 2002-09-13 2004-07-01 Mehdi Vaez-Iravani Inspection system for integrated applications
CN104376548A (zh) * 2014-11-07 2015-02-25 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法
CN104596932A (zh) * 2014-12-25 2015-05-06 北京农业智能装备技术研究中心 一种水果腐败区域的热红外图像提取系统及方法
CN207266153U (zh) * 2017-10-25 2018-04-20 信利光电股份有限公司 一种带偏振滤光器的多摄像头模组及摄像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8169613B1 (en) * 2008-11-21 2012-05-01 Kla-Tencor Corp. Segmented polarizer for optimizing performance of a surface inspection system
US8223327B2 (en) * 2009-01-26 2012-07-17 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer
CN204903413U (zh) * 2015-06-23 2015-12-23 上海盛广科技发展有限公司 基于偏振光成像技术的检测装置
CN106780308B (zh) * 2016-12-20 2020-05-05 武汉理工大学 一种图像透视变换方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125368A1 (en) * 2002-09-13 2004-07-01 Mehdi Vaez-Iravani Inspection system for integrated applications
CN104376548A (zh) * 2014-11-07 2015-02-25 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法
CN104596932A (zh) * 2014-12-25 2015-05-06 北京农业智能装备技术研究中心 一种水果腐败区域的热红外图像提取系统及方法
CN207266153U (zh) * 2017-10-25 2018-04-20 信利光电股份有限公司 一种带偏振滤光器的多摄像头模组及摄像装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐科,周鹏: "《金属表面质量在线检测技术》", 31 October 2016, 冶金工业出版社 *
韩宏伟: "一种偏振成像实验系统的设计", 《实验室研究与探索》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114103494A (zh) * 2020-09-01 2022-03-01 佳能株式会社 图像处理装置、其控制方法和存储介质
CN113628255A (zh) * 2021-07-28 2021-11-09 武汉三江中电科技有限责任公司 一种三光融合无损检测图像配准算法
CN113628255B (zh) * 2021-07-28 2024-03-12 武汉三江中电科技有限责任公司 一种三光融合无损检测图像配准算法
CN113570708A (zh) * 2021-07-30 2021-10-29 重庆市特种设备检测研究院 缺陷立体建模方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020132961A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
US7769243B2 (en) Method and apparatus for image inspection
CN110599546A (zh) 一种获取三维空间数据的方法、系统、装置和存储介质
CN111344554A (zh) 外观缺陷检测方法及装置
WO2022126870A1 (en) Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
CN110570412B (zh) 一种零件误差视觉判断系统
CN113513981B (zh) 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质
WO2018120168A1 (zh) 一种视觉检测方法及系统
CN111083438B (zh) 基于视频融合的无人巡检方法、系统、装置和存储介质
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107643611A (zh) 一种液晶屏与背光源装配精度的自动检测系统
JPH1079029A (ja) 立体情報検出方法及びその装置
CN116393982B (zh) 一种基于机器视觉的螺丝锁付方法及装置
CN105530419B (zh) 图像采集系统、图像采集处理系统和图像采集处理方法
CN110728703B (zh) 可见光图像与日盲紫外光图像的配准融合方法
CN116908185A (zh) 物品的外观缺陷检测方法、装置、电子设备及存储介质
US7684610B2 (en) Rotating prism component inspection system
JP2000125289A (ja) 凹部強調画像の作成方法
TWI762047B (zh) 影像式銲道瑕疵檢測方法及其裝置
CN111339848B (zh) 一种自然环境下人造目标识别方法及装置
CN220022902U (zh) 一种芯片检测装置
CN118097036B (zh) 一种适用于含有透光材料的物体点云重建系统及方法
JP6906779B1 (ja) 半導体チップの検査方法及び装置
CN116862980B (zh) 图像边缘的目标检测框位置优化校正方法、系统、介质及终端
CN113281351A (zh) 基于偏振的印制线路板外观检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination