CN111830046B - 基于多光谱分光成像的表面缺陷自动光学检测系统及方法 - Google Patents

Abstract

本发明属于图像处理相关技术领域，并具体公开了基于多光谱分光成像的表面缺陷自动光学检测系统及方法。该系统包括硬件单元和软件单元，其中硬件单元中的滤光模块用于对待检产品表面的原始光线进行过滤获得过滤光线；分光采集模块用于获得两幅原始图像；软件单元中多光谱分光成像模块用于调节滤光模块的组成以获得预设数量的原始图像；多图像融合检测模块用于对原始图像进行缺陷检测，获得待检产品的表面缺陷；最后利用分类标注模块对表面缺陷进行分类和标注。本发明将颜色信息融入到检测过程中，从根本上提高缺陷检测所需要的信息量，同时融入分光成像的思想，实现对光信息的再次细化，保留大量信息的真实性，极大提供检测的准确性。

Description

基于多光谱分光成像的表面缺陷自动光学检测系统及方法

技术领域

本发明属于图像处理相关技术领域，更具体地，涉及基于多光谱分光成像的表面缺陷自动光学检测系统及方法。

背景技术

在工业制造领域，原材料的品质各异，制造过程复杂，并且在产品的表面会产生表面缺陷，例如钢材、木材、纺织物、瓷砖与新型显示器件如TFT-LCD、OLED等。表面缺陷指的是与周边纹理结构和模式不同的局部区域，或者具有不规则亮度变化的局部区域。这些表面缺陷会直接降低产品品质，影响用户体验。为了提高生产质量，在制造过程中应该有效控制所有类型的表面缺陷，所以表面缺陷检测是整个制造业的基础和关键。在自动光学检测领域，对于产品表面缺陷的检测应用尤为重要。

表面缺陷中，最难检测的缺陷是Mura缺陷，其边缘模糊、对比度低、图像中存在重复纹理并且整体亮度不均匀。由于Mura缺陷一般要从倾斜的视角进行观察才可以发现，此时，整个屏幕的亮度呈现出很大的不均匀性，而Mura缺陷的对比度又很低，并且没有一个清晰的边缘，因此实现Mura图像的有效分割十分困难。Mura缺陷的判断不仅仅受到缺陷自身客观特性的影响，还要受到观察者视觉心理因素的影响，利用传统的仅考虑对比度和面积两个特征参数的判别标准无法得到满意的的检测效果。Mura缺陷本身和它的判别标准都具有很强的模糊性，采用基于经典集合理论的传统模式识别方法无法得到与人类观察者相一致的检测结果。

现有的自动光学检测设备大多为直接采像，即使用照相机在一定环境下直接对缺陷采像，并不考虑人眼对于图像的真实感受，大多数设备将重心放在成像质量上，使用非常高昂的代价来提高分辨率，但精度仍然十分有限。并且检测应用性不够广泛，在某种特定光谱下才能观察到的缺陷更是难以检测，鲁棒性低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了基于多光谱分光成像的表面缺陷自动光学检测系统及方法，该系统通过设置滤光模块，能够将颜色信息融入到检测过程中，从根本上提高缺陷检测所需要的信息量，同时融入分光成像的思想，实现对光信息的再次细化，保留大量信息的真实性，此外软件模块还能够充分利用多光谱成像和分光成像的优势，对图像进行融合检测，从原理上大大提供检测的准确性。

为实现上述目的，本发明提出了一种基于多光谱分光成像的表面缺陷自动光学检测系统，该系统包括硬件单元和软件单元，其中：

所述硬件单元包括滤光模块和分光采集模块，所述滤光模块用于对待检产品表面的原始光线进行过滤，以滤除具有干扰波长的光线并改善光照不均匀的情况，进而获得过滤光线；所述分光采集模块用于对所述过滤光线进行分光处理和图像采集，以获得两幅具有位置信息偏差的原始图像；

所述软件单元包括多光谱分光成像模块、多图像融合检测模块和分类标注模块，所述多光谱分光成像模块用于调节所述滤光模块的组成，以此获得预设数量的原始图像；所述多图像融合检测模块用于对所述原始图像进行缺陷检测，以获得所述待检产品的表面缺陷；所述分类标注模块用于对所述表面缺陷进行分类和标注，进而完成表面缺陷自动光学检测工作。

作为进一步优选地，所述滤光模块包括轮盘式CIE滤光片组和轮盘式ND滤光片组，从而根据实际检测情况选择不同的滤光片组合形式。

作为进一步优选地，所述分光采集模块包括分光器和两个CCD传感器，其中所述分光器为半反半透棱镜，用于将所述过滤光线分为两条,分别进入两个CCD传感器；所述CCD传感器布置存在机械偏差，从而获得两幅具有位置信息偏差的原始图像。

作为进一步优选地，所述多图像融合检测模块的具体工作模式为：以两幅具有位置信息偏差的原始图像为一组，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷；然后对各组原始图像的表面缺陷进行加权求和或线性叠加，进而获得所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_Σ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法。

作为进一步优选地，所述多图像融合检测模块的具体工作模式为：将所有原始图像进行融合，以获得合成图像；对所述合成图像进行缺陷检测，最终得到所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法。

按照本发明的另一方面，提供了一种利用上述基于多光谱分光成像的表面缺陷自动光学检测系统进行检测的方法，该方法包括如下步骤：

S1利用多光谱分光成像模块调节滤光模块的组成，然后对待检产品的表面进行图像采集，以此获得预设数量的原始图像；

S2利用多图像融合检测模块对所述原始图像进行缺陷检测，以获得所述待检产品的表面缺陷；

S3利用分类标注模块对所述待检产品的表面缺陷进行分类和标注，进而完成表面缺陷自动光学检测工作。

作为进一步优选地，步骤S2包括如下子步骤：

S21以两幅具有位置信息偏差的原始图像为一组，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷；

S22对各组原始图像的表面缺陷进行加权求和或线性叠加，进而获得所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_Σ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法。

作为进一步优选地，步骤S2包括如下子步骤：

S21将所有原始图像进行融合，以获得合成图像；

S22对所述合成图像进行缺陷检测，最终得到所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明提供了一种基于多光谱分光成像的表面缺陷自动检测系统及方法，其中该系统通过设置滤光模块，能够将颜色信息融入到检测过程中，从根本上提高缺陷检测所需要的信息量，同时该发明融入分光成像的思想，实现对光信息的再次细化，通过对分光后的图像进行分别采集，可以保留大量信息的真实性，此外软件模块还能够充分利用多光谱成像和分光成像的优势，对图像进行融合检测，从原理上大大提供检测的准确性；

2.同时，本发明利用CIE滤光片滤除具有干扰波长的光线，最大程度还原产品表面的真实颜色，使得光谱图像可以对大面积缺陷进行真实表达；同时ND滤光片可以实现光强的调整，对背景的光照不均匀情况进行改善，提高低对比度的缺陷检测准确度；同时轮盘式CIE滤光片组和ND滤光片组分别含有多个不同性质的滤光片，通过提供不同组合选择以对同一产品进行多次分光采集，从而获得多对不同性质的图像，可提升检测效率、减少检测的错误率；

3.此外，本发明对多图像融合检测模块的具体工作模式进行优化，能够提高原始图像的处理速度和处理精度，实现表面缺陷的自动检测。

附图说明

图1是按照本发明优选实施例构建的基于多光谱分光成像的表面缺陷自动光学检测系统中硬件模块的示意图；

图2是按照本发明优选实施例构建的基于多光谱分光成像的表面缺陷自动光学检测系统中软件模块的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1～2所示，本发明实施例提供了一种基于多光谱分光成像的表面缺陷自动光学检测系统，该系统包括硬件单元和软件单元，其中：

硬件单元包括滤光模块和分光采集模块，滤光模块用于对待检产品表面的原始光线进行过滤，以滤除具有干扰波长的光线并改善光照不均匀的情况，进而获得过滤光线；分光采集模块用于对过滤光线进行分光处理和图像采集，以获得两幅具有位置信息偏差的原始图像；

软件单元包括多光谱分光成像模块、多图像融合检测模块和分类标注模块，多光谱分光成像模块用于调节滤光模块的组成，以此获得预设数量的原始图像；多图像融合检测模块用于对原始图像进行缺陷检测，以获得待检产品的表面缺陷；分类标注模块用于对表面缺陷进行分类和标注，进而完成表面缺陷自动光学检测工作。

进一步，滤光模块包括轮盘式CIE滤光片组和轮盘式ND滤光片组，从而根据实际检测情况选择不同的滤光片组合形式；被测物体被光源照亮或者自身被点亮，光纤线通过轮盘式CIE滤光片组，再通过轮盘式ND滤光片组。传统方法下，大面积缺陷不易检测，与周围的低对比度导致相机捕捉的精度不足，在CIE(International Commission onIllumination)滤光片下采集的产品缺陷图像，可以很好地显示出缺陷。不同的缺陷在不同滤光片下的成像质量不同，标准CIE滤光片可以让特定波长的光通过，滤去具有干扰波长的光线，采用特质的CIE滤光片，可以最大程度还原产品表面的真实颜色，各光谱图像就可以对大面积缺陷真实地表达。ND(Neutral Density)滤光片则可实现光强的调整，可以对背景的光照不均匀情况进行改善，对低对比度的缺陷检测有很大帮助，CCD传感器对于光强很敏感，所以ND滤光片可以滤去这部分强光，改善采样质量。轮盘式CIE、ND滤光片组分别含有多个不同性质的滤光片，提供组合选择，从而采集多对不同性质的图像进行表面缺陷检测，提高缺陷检测精度。实际检测中需要针对不同缺陷类型选择不同的滤光片组合形式，以提高效率。

进一步，分光采集模块包括分光器和两个CCD传感器，其中分光器为半反半透棱镜，用于将过滤光线分为两条,分别进入两个CCD传感器；CCD传感器布置存在机械偏差，从而获得两幅具有位置信息偏差的原始图像。光线经过滤光模块后，在分光器处被一分为二，对这两组光线同时用高分辨率CCD传感器采集，形成一组原始图像。分光器是一个半反半透棱镜，可将光通路分为两条，由于两个CCD传感器布置存在一定的机械偏差，从而可以成像两幅具有位置信息偏差的图像，用以提高缺陷检测性能。大多现有的缺陷检测设备都是直接采集图像，分光采集会使采集到的缺陷样本信息保存更为完善，使得缺陷在两幅图像中存在位置偏差信息，因此分光后的两张原始图像将会在缺陷区形成一定的对比，使得缺陷更为清晰。在后续的软件算法处理会统一对采集到的图像对进行处理。

进一步，软件单元作为硬件单元的外界接口，直接面向操作人员，对于CIE滤光片组和ND滤光片组、分光选项以及采像光源的亮度均有单独调节的选项。多光谱分光成像模块可采用专家操作模式，即可以由人工操作，自行选择不同灰度的ND滤光片和不同颜色的CIE滤光片，通过软件上的选项自行控制滤光片的组合，来采到符合产品检测需求的特定光谱、亮度、照度下的图像。多光谱分光成像模块还控制分光器的几何与位置参数，把滤光后的光线，分光为两路分别成像，产生特定光谱的图像对。同时多光谱分光成像模块具备自动选项，基于多光谱分光的图像表面缺陷检测设备可以自行根据外界的光照以及产品表面本身的特征来自动选择滤光片组合与光源亮度，进行自动化检测。

进一步，多图像融合检测模块有两种工作模式，模式一为对各组原始图像分别进行缺陷检测，再对检测的结果进行融合；模式二为将多足原始图像融合成增强的图像，再进行缺陷检测。

模式一的具体工作方式为：以两幅具有位置信息偏差的原始图像为一组，此时每组图像均为特定波长段的独立图像，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷，能够削弱综合外部因素的干扰，同时发挥出多光谱图像在缺陷表达方式不同的优势；然后对各组原始图像的表面缺陷进行加权求和或线性叠加，也可以选择软件中集成好的智能融合算法对检测后的单张图片融合，进而获得待检产品的表面缺陷，该模式由如下公式表示：

I_output＝fΣ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法。

模式二的具体工作方式为：软件首先对同一产品的不同原始图像进行智能融合算法融合图像，即软件会产生合成图像，不同于原始图像，合成图像会产生特定的增强效果，从而使得背景的不均匀性极大改善，而且融合时会根据各光谱图像放大某些特征，在融合图像中对缺陷部分产生增强，使得缺陷信息更为完善；对合成图像进行缺陷检测，最终得到待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法。

也可以按照软件的智能判断，内部集成有AI模块智能检测算法，在一定量的数据读入之后，来自行选择检测模式调节参数，来提高检测的成功率，以达到提高生产率的目的。

预先判断缺陷种类并选定模式与参数，可极大提高检测准确率。通过专业工程师的调试，还可以改变多光谱检测的检测算法，来更好得适用于不同缺陷的检测。检测完毕后，检测结果会保存在本地数据库中，在下一步提供给分类标注模块。

利用本发明提供的基于多光谱分光成像的表面缺陷自动光学检测系统进行检测的方法具体包括如下步骤：

S1启动硬件单元，利用多光谱分光成像模块调节滤光模块的组成，然后对待检产品的表面进行图像采集，光线按照设计好的滤光片组合被滤除特定的波长，再通过分光器进行分光处理，最后在CCD传感器上进行成像，实现特点光波图像采集，并将数据保存到本地数据库，为缺陷检测提供预设数量的原始图像；

S2利用多图像融合检测模块对原始图像进行缺陷检测，以获得待检产品的表面缺陷，该模块可以采用两种工作模式进行检测，其中模式一包括如下子步骤：

S21以两幅具有位置信息偏差的原始图像为一组，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷；

S22对各组原始图像的表面缺陷进行加权求和或线性叠加，进而获得待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_Σ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法；

模式二包括如下子步骤：

S21将所有原始图像进行融合，以获得合成图像；

S22对合成图像进行缺陷检测，最终得到待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法；

S3利用分类标注模块对待检产品的表面缺陷进行分类和标注，软件通过检测与合成算法后，对每一个产品产生一张最终结果图像，该图像上标注了缺陷，最终该图像会被作为产品表面缺陷的判定依据，通过该模块可以得到产品质量的分类结果；该模块可以由操作者人工为某一缺陷标注，判断产品是否合格可由检测员独立完成；同时该模块还有自动判断模式，操作者可以选定判断指标，给定判断依据，如缺陷面积大小，缺陷位置等，该模块可以自动、快速地处理大量产品图像，并分类，最终输出标注有缺陷大小、缺陷检测位置、缺陷种类等相关信息的检测后图像，并将结果保存在本地数据库中，进而完成表面缺陷自动光学检测工作。

本领域的技术人员容易理解，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多光谱分光成像的表面缺陷自动光学检测系统，其特征在于，该系统包括硬件单元和软件单元，其中：

所述硬件单元包括滤光模块和分光采集模块，所述滤光模块用于对待检产品表面的原始光线进行过滤，以滤除具有干扰波长的光线并改善光照不均匀的情况，进而获得过滤光线；所述分光采集模块包括分光器和两个CCD传感器，其中所述分光器为半反半透棱镜，用于将所述过滤光线分为两条,分别进入两个CCD传感器；所述CCD传感器布置存在机械偏差，从而获得两幅具有位置信息偏差的原始图像，所述分光采集模块用于对所述过滤光线进行分光处理和图像采集，以获得两幅具有位置信息偏差的原始图像；

所述软件单元包括多光谱分光成像模块、多图像融合检测模块和分类标注模块，所述多光谱分光成像模块用于调节所述滤光模块的组成，以此获得预设数量的原始图像；所述多图像融合检测模块用于对所述原始图像进行缺陷检测，以获得所述待检产品的表面缺陷；所述分类标注模块用于对所述表面缺陷进行分类和标注，进而完成表面缺陷自动光学检测工作。

2.如权利要求1所述的基于多光谱分光成像的表面缺陷自动光学检测系统，其特征在于，所述滤光模块包括轮盘式CIE滤光片组和轮盘式ND滤光片组，从而根据实际检测情况选择不同的滤光片组合形式。

3.如权利要求1或2所述的基于多光谱分光成像的表面缺陷自动光学检测系统，其特征在于，所述多图像融合检测模块的具体工作模式为：以两幅具有位置信息偏差的原始图像为一组，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷；然后对各组原始图像的表面缺陷进行加权求和或线性叠加，进而获得所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_Σ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法。

4.如权利要求1或2所述的基于多光谱分光成像的表面缺陷自动光学检测系统，其特征在于，所述多图像融合检测模块的具体工作模式为：将所有原始图像进行融合，以获得合成图像；对所述合成图像进行缺陷检测，最终得到所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法。

5.一种利用如权利要求1～4任一项所述的基于多光谱分光成像的表面缺陷自动光学检测系统进行检测的方法，其特征在于，该方法包括如下步骤：

S1利用多光谱分光成像模块调节滤光模块的组成，然后对待检产品的表面进行图像采集，以此获得预设数量的原始图像；

S2利用多图像融合检测模块对所述原始图像进行缺陷检测，以获得所述待检产品的表面缺陷；

S3利用分类标注模块对所述待检产品的表面缺陷进行分类和标注，进而完成表面缺陷自动光学检测工作。

6.如权利要求5所述的基于多光谱分光成像的表面缺陷自动光学检测方法，其特征在于，步骤S2包括如下子步骤：

S21以两幅具有位置信息偏差的原始图像为一组，逐一对每组原始图像进行检测，以获得各组原始图像的表面缺陷；

S22对各组原始图像的表面缺陷进行加权求和或线性叠加，进而获得所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_Σ(f_detect(I_{input_1}),f_detect(I_{input_2}),...,f_detect(I_{input_i})...,f_detect(I_{input_P}))

式中，I_output为待检产品的表面缺陷，f_Σ为图像融合算法，f_detect(I_{input_i})为第i组原始图像的表面缺陷检测算法。

7.如权利要求5所述的基于多光谱分光成像的表面缺陷自动光学检测方法，其特征在于，步骤S2包括如下子步骤：

S21将所有原始图像进行融合，以获得合成图像；

S22对所述合成图像进行缺陷检测，最终得到所述待检产品的表面缺陷，该模式由如下公式表示：

I_output＝f_detect(f_Σ(I_{input_1},I_{input_2},...,I_{input_j},...,I_{input_Q}))

式中，f_detect为表面缺陷检测算法，I_{input_j}第j张原始图像，f_Σ为图像融合算法。

Images