CN109946304A - 基于特征匹配的零件表面缺陷在线检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种基于特征匹配的零件表面缺陷在线检测系统及检测方法。系统包括图像采集设备和计算机。图像采集设备包括CCD相机及光源，连接到计算机。计算机包括软件客户端、图像处理模块、检测模块。软件客户端可实现零件表面缺陷在线检测的控制、检测和显示功能，软件客户端连接图像处理模块；检测模块连接到图像处理模块。本系统通过对零件的索贝尔特征图计算Hu矩值并进行相似度匹配完成零件表面缺陷检测。图像采集设备拍摄零件图像，图像处理模块对图像进行预处理、分割和提取特征，检测模块通过Hu矩值计算相似度并输出判定结果。该系统结构简单，适用于工业检测领域的零件缺陷检测场景，能实时在线进行高精度零件表面缺陷检测工作。

Description

基于特征匹配的零件表面缺陷在线检测系统及检测方法

技术领域

本发明涉及工业检测和计算机视觉领域，具体涉及一种基于特征匹配的零件表面缺陷在线检测系统及检测方法，适用于工业检测领域的零件缺陷检测场景，能实时在线进行高精度零件表面缺陷检测工作。

背景技术

零件的表面缺陷种类众多，例如飞边、缺料、划痕、污点等等，这些缺陷都是需要检出的。传统的零件生产中的检测环节一般通过人工检测的方式进行，这不仅降低了流水线的生产效率，增加了人力负担，还无法达到快速精准地检测缺陷。因此，通过计算机视觉系统检测零件表面缺陷，以代替人工检测是目前本领域需要解决的问题。

目前通过计算机视觉系统检测零件表面缺陷的检测方法众多，主要有基于机器学习的检测方法、基于统计特征的检测方法和基于缺陷特征的检测方法。这三类方法都有其缺点：

1.基于机器学习的检测方法需要在正式检测运作之前获取至少万级以上的人工标注样本图像数据集以训练模型，这对次品率并不高的工业零件生产来说时间成本和人力成本过大；同时获取的样本集仅仅代表着样本中出现的缺陷情况，并无法保证可以涵盖检测检测过程中所有的零件表面缺陷种类。

2.基于统计特征的检测方法是根据图像中的灰度信息建立灰度统计直方图，通过比较直方图来判断零件表面是否有缺陷。灰度信息反映的不一定是缺陷信息，也有可能是噪声、亮度、色差等信息，在统计特征中无法判断出是否是缺陷引起直方图的差异。

3.基于缺陷特征的检测方法最大的问题即无法涵盖所有的缺陷种类，即使库中已经有所有已知缺陷的特征，检测过程中也有可能会出现新的缺陷种类；再者，即使同一种缺陷的特征也有不同的特征表现，并不可能覆盖所有的情况。

发明内容

本发明为了克服上述技术存在的问题，提出一种基于特征匹配的零件表面缺陷在线检测系统及检测方法，该系统可以实现工业零件表面缺陷在线检测，且不受零件表面缺陷的种类、数量，检测图像的旋转、位移、尺度变化的影响，快速准确地检测出零件表面是否有缺陷。

为实现上述目的，本发明的技术方案如下：

一种基于特征匹配的零件表面缺陷在线检测系统及检测方法，适用于工业检测领域的零件缺陷检测场景，能实时在线进行高精度零件表面缺陷检测工作。该系统包括图像采集设备1和计算机2。

所述的图像采集设备1包括CCD相机及光源，用于采集待检测零件的图像，并传入计算机2中。

所述的计算机2包括软件客户端、图像处理模块和检测模块。软件客户端连接到图像采集设备1，控制相机的启动及获取待检测零件的图像，同时在线实时显示检测结果，并输出判定结果；图像处理模块完成显著性检测、图像自适应旋转分割、索贝尔边缘特征提取；检测模块完成零件检测功能，即零件图像特征的Hu矩的计算及相似度的匹配，根据设定的缺陷阈值判定是否有缺陷。

本发明应用显著性检测的方法获取图像中的零件部分，通过仿射变换实现自适应旋转分割，结合索贝尔特征提取，计算出Hu矩值，通过匹配模版得到相似度，从而实时在线判断零件表面是否有缺陷。

本发明首次通过图像的索贝尔特征表达零件表面的缺陷情况，并通过仿射变换完成自适应旋转分割，首次通过结合Hu矩的前2个矩值和相似度匹配方法进行相似度计算，实现了实时在线进行高精度零件表面缺陷检测工作。

所述的基于特征匹配的零件表面缺陷在线检测方法通过以下步骤实现检测：

1)首先由计算机软件客户端启动系统，打开CCD相机拍摄零件图像，图像传入计算机并保存以便后续的图像处理和检测；

2)首次启动系统时，需要拍摄一次正常零件的图像并进行图像处理。将正常零件放于摄像头视场内，进行第一次拍摄，拍摄后的图像将作为模版保存在图库中。若图库中已经存有模版则可省略此步骤；

3)检测零件表面缺陷时，通过软件客户端按键对摄像头视场内的零件进行拍摄和检测，并且在软件客户端窗口界面上分别同时显示视场中每个零件的索贝尔特征图像，并在每幅图像下方显示相似度(范围：0～1)和此零件是否有表面缺陷的字样结果；

4)图像预处理：将由CCD相机拍摄到的待检测零件图像进行预处理。先对原始图像进行灰度转换，之后对灰度图像进行高斯平滑滤波处理以克服噪声干扰；

5)图像分割：将灰度图像转成LAB格式，用显著性检测方法将待检测零件图像中的所有零件分割成单个零件图像，通过自适应旋转分割算法将单个零件图像旋转校正，并保存在分割集中；

6)特征提取：通过提取图像中零件的索贝尔特征，得到待检测零件的索贝尔纹理特征图，这些特征图用于和模板特征图像进行相似度匹配；

7)计算机检测模块对图像处理模块得到的待检测零件的纹理特征图进行相似度匹配算法，其特征在于，计算待检测零件的索贝尔纹理特征图的Hu矩特征值，通过将待检测零件的索贝尔特征值与模板零件索贝尔特征值进行归一化对比，求得相似度，从而判断待检测零件是否有表面缺陷。

检测算法中的Hu矩共有7个矩，本相似度匹配算法采用了Hu矩中的前两个矩进行表面缺陷检测，分别为：

M_l＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

其中，M_i为i阶Hu矩，i为自然数，η_mn为(m+n)阶归一化中心矩，m，n分别为图像像素点横纵坐标的次数。

本发明设计制作了基于特征匹配的零件表面缺陷在线检测软件客户端，通过软件客户端界面中的按键实现各功能操作。一般操作流程为：

1)打开摄像头；

2)放置标注合格零件于视场内，捕获图像以获得模板；

3)判断是否为单次检测；

4)单次检测则需手动放置待检测零件于视场内，自动检测则需要设定时间间隔使待检测零件间隔一定时间进入视场，间隔时间与相机拍摄间隔相同；

5)单次检测点击捕获图像采集待检测图像，自动检测点击自动检测按键完成此步；

6)单次检测点击检测图像对图像进行零件表面缺陷检测并显示结果，自动检测自动完成此步并显示结果。显示结果包括图像和文字，图像指在各个分割位中展示各个零件的索贝尔纹理特征图，文字指显示“合格”或“有缺陷”相似度大小，显示结果出现在对应分割位图像下方的文字框中；

7)单次检测结束，自动检测需判断是否完成检测并点击停止检测以结束。

与已有的表面缺陷检测技术相比，该系统具有以下优点：

该系统通过模版匹配计算相似度的方法进行零件表面缺陷判定，不需要机器学习方法中大量的标注样本图像数据集，也不需要长时间的训练阶段，计算复杂度低，识别速度快，适用于实时在线的批量零件表面缺陷检测。

该系统通过模版匹配将待检测零件的图像与标准合格零件的图像进行匹配计算相似度，因此不需要提前知晓零件表面缺陷的种类和特征，即可判定所有不同于标准合格零件的缺陷。这就消除了无法涵盖所有缺陷种类的问题，可以检测无法预知的表面缺陷特征。

该系统通过提取索贝尔纹理特征表达零件表面的缺陷特征，由于索贝尔特征能提取出零件表面纹理细节，能有效地表达零件表面的缺陷特征。相比于灰度统计特征来说更具象、更真实、更能反映出缺陷信息。

该系统采用仿射变换进行图像自适应旋转分割，计算索贝尔纹理特征图的Hu矩值，两者都具有平移、旋转、尺度不变性，消除了图像配准的难度，减少了算法耗时，提高了算法效率，为实时性提供了保障。

该系统通过结合Hu矩的前2个矩值和模版匹配方法进行相似度计算，将索贝尔特征用Hu矩形式表达之后再进行相似度计算，具有了索贝尔的纹理特征信息，同时有Hu矩的平移、旋转和尺度不变性，使得相似度更加准确。

该系统通过零件表面缺陷在线检测软件客户端对整个系统进行控制、检测和显示，操作简单快捷，适用于工业检测的流水线作业。同时具备手动检测和自动检测两种方式，可以有效地进行测试和正常检测工作，为零件表面缺陷在线检测提供了优良的操作平台和直观的结果反映。

附图说明

图1为本发明一种实施例零件表面缺陷在线检测系统示意图；

图2为本发明一种实施例零件表面缺陷在线检测方法步骤图；

图3为本发明零件表面缺陷在线检测软件操作步骤图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下所获得的所有其他实施列，均属于本发明保护的范围。

下面结合附图来说明本发明的实施方式，对于本领域技术人员来讲，这些实施方式仅仅用于解释说明本发明的技术原理，并非旨在限制本发明的保护范围。

如图1为本实施例零件表面缺陷在线检测系统示意图，其中说明了本实施例的基本实现过程。计算机的软件客户端负责控制整个操作流程，首先通过图像采集设备采集待检测零件图像，将其传入到图像处理模块进行图像预处理、图像分割和特征提取，之后将处理好的图像传入到检测模块，通过检测模块计算出图像的Hu矩值并与模板图像的Hu矩值匹配计算出相似度，根本设定的相似度阈值判断此零件是否为缺陷零件并输出判定结果，即完成整个零件表面缺陷检测任务。所述的零件表面缺陷在线检测系统包括图像采集设备1和计算机2。

所述的图像采集设备1包括CCD相机及光源；由图像采集设备1采集到的图像传入计算机2；经过计算机处理并检测后输出判定结果。

所述的计算机2包括软件客户端、图像处理模块和检测模块。软件客户端连接到图像处理模块，并与图像采集设备1中的CCD相机相连，图像处理模块连接到检测模块。图像采集设备1用以拍摄获取零件的原始图像。计算机软件客户端通过窗口界面展示原始拍摄图像和零件特征图像以及零件是否有表面缺陷；图像处理模块完成图像预处理、图像分割、特征提取；检测模块完成零件缺陷检测功能，判定是否有表面缺陷，并输出判定结果。

如图2为本实施例零件表面缺陷在线检测方法步骤图，它具体说明了本实施例的具体实现过程：

1)首先由计算机软件客户端启动系统，打开CCD相机拍摄零件图像，图像传入计算机并保存以便后续的图像处理和检测；

2)首次启动系统时，需要拍摄一次正常零件的图像并进行图像处理。将正常零件放于摄像头视场内，进行第一次拍摄，拍摄后的图像将作为模版保存在图库中。若图库中已经存有模版则可省略此步骤；

3)检测零件表面缺陷时，通过软件客户端按键对摄像头视场内的零件进行拍摄和检测，并且在软件客户端窗口界面上分别同时显示视场中每个零件的索贝尔特征图像，并在每幅图像下方显示相似度(范围：0～1)和此零件是否有表面缺陷的字样结果；

4)图像预处理：将由CCD相机拍摄到的待检测零件图像进行预处理。先对原始图像进行灰度转换，之后对灰度图像进行高斯平滑滤波处理以克服噪声干扰；

5)图像分割：将灰度图像转成LAB格式，用显著性检测方法将待检测零件图像中的所有零件分割成单个零件图像，通过自适应旋转分割算法将单个零件图像旋转校正，并保存在分割集中；

6)特征提取：通过提取图像中零件的索贝尔特征，得到待检测零件的索贝尔纹理特征图，这些特征图用于和模板特征图像进行相似度匹配；

7)计算机检测模块对图像处理模块得到的待检测零件的纹理特征图进行相似度匹配算法，其特征在于，计算待检测零件的索贝尔纹理特征图的Hu矩特征值，通过将待检测零件的索贝尔特征值与模板零件索贝尔特征值进行归一化对比，求得相似度，从而判断待检测零件是否有表面缺陷。

检测算法中的Hu矩共有7个矩，本相似度匹配算法采用了Hu矩中的前两个矩进行表面缺陷检测，分别为：

M₁＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

其中，M_i为i阶Hu矩，i为自然数，η_mn为(m+n)阶归一化中心矩，m，n分别为图像像素点横纵坐标的次数。

本发明还提供了一种零件表面缺陷在线检测软件，软件用于实现零件表面缺陷在线检测，是系统除开图像采集设备和计算机的部分。其中程序可以用于处理图像采集设备采集的零件图像并实时在线检测零件表面缺陷，最终输出结果并显示

如图3为零件表面缺陷在线检测软件操作步骤图。通过软件客户端界面中的按键实现各功能操作。应用于实施例中的一般操作流程为：

1)打开摄像头；

2)放置标注合格零件于视场内，捕获图像以获得模板；

3)判断是否为单次检测；

4)单次检测则需手动放置待检测零件于视场内，自动检测则需要设定时间间隔使待检测零件间隔一定时间进入视场，间隔时间与相机拍摄间隔相同；

5)单次检测点击捕获图像采集待检测图像，自动检测点击自动检测按键完成此步；

6)单次检测点击检测图像对图像进行零件表面缺陷检测并显示索贝尔特征图及检测结果，自动检测自动完成此步并显示索贝尔特征图及检测结果。显示结果包括图像和文字，图像指在各个分割位中展示各个零件的索贝尔纹理特征图，文字指显示“合格”或“有缺陷”相似度大小，显示结果出现在对应分割位图像下方的文字框中；

7)单次检测结束，自动检测需判断是否完成检测并点击停止检测以结束。

本实施例中软件客户端的原始图像框中显示的是CCD相机实时的视场画面，其中有四个圆柱形零件依次为合格零件、有飞边缺陷的零件、有色差缺陷的零件和有缺料缺陷的零件。设定的相似度阈值为0.94，高于此阈值判定为合格件，低于此阈值判定为缺陷件。1号分割位显示的是合格零件的索贝尔特征图，与标准合格件的相似度为0.9734，在检测结果框中显示为合格；2号分割位显示的是有飞边缺陷的零件的索贝尔特征图，与标准合格件的相似度为0.9231，在检测结果框中显示为有缺陷；3号分割位显示的是有色差缺陷的零件的索贝尔特征图，与标准合格件的相似度为0.5659，在检测结果框中显示为有缺陷；4号分割位显示的是有缺料缺陷的零件的索贝尔特征图，与标准合格件的相似度为0.5324，在检测结果框中显示为有缺陷。实施例中零件表面缺陷检测判定均正确。

至此，已经结合附图所示的实施例描述了本发明的技术方案，但本发明的保护范围显然不局限于这些具体实施例。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (2)

1.一种基于特征匹配的零件表面缺陷在线检测系统，包括图像采集设备和计算机，其特征在于：

所述的图像采集设备包括CCD相机及光源；由图像采集设备采集到的图像传入计算机；经过计算机处理并检测后输出判定结果；所述的计算机包括软件客户端、图像处理模块和检测模块，软件客户端连接到图像处理模块，并与图像采集设备(1)CCD相机相连，图像处理模块连接到检测模块，图像采集设备用以拍摄获取零件的原始图像，计算机软件客户端通过窗口界面展示原始拍摄图像和零件特征图像以及零件是否有表面缺陷；图像处理模块完成图像预处理、图像分割、特征提取；检测模块完成零件缺陷检测功能，判定是否有表面缺陷，并输出判定结果。

2.一种基于权利要求1所述的基于特征匹配的零件表面缺陷在线检测系统的检测方法，其特征在于：

所述的检测方法对原始图像进行预处理，对图像进行自适应旋转分割，提取出图像的索贝尔特征，通过基于Hu矩的相似度匹配算法，将待检测零件索贝尔特征图像与正常零件索贝尔特征图像进行相似度匹配，通过相似度大小判断待检测零件是否有表面缺陷，实现并行在线检测多个零件表面缺陷的功能；所述的基于特征匹配的零件表面缺陷在线检测方法通过以下步骤实现检测：

1)首先由计算机软件客户端启动系统，打开CCD相机拍摄零件图像，图像传入计算机并保存以便后续的图像处理和检测；

2)首次启动系统时，需要拍摄一次正常零件的图像并进行图像处理，将正常零件放于摄像头视场内，进行第一次拍摄，拍摄后的图像将作为模版保存在图库中。若图库中已经存有模版则可省略此步骤；

3)检测零件表面缺陷时，通过软件客户端按键对摄像头视场内的零件进行拍摄和检测，并且在软件客户端窗口界面上分别同时显示视场中每个零件的索贝尔特征图像，并在每幅图像下方显示相似度(范围：0～1)和此零件是否有表面缺陷的字样结果；

4)图像预处理：将由CCD相机拍摄到的待检测零件图像进行预处理。先对原始图像进行灰度转换，之后对灰度图像进行高斯平滑滤波处理以克服噪声干扰；

5)图像分割：将灰度图像转成LAB格式，用显著性检测方法将待检测零件图像中的所有零件分割成单个零件图像，通过自适应旋转分割算法将单个零件图像旋转校正，并保存在分割集中；

6)特征提取：通过提取图像中零件的索贝尔特征，得到待检测零件的索贝尔纹理特征图，这些特征图用于和模板特征图像进行相似度匹配；

7)计算机检测模块对图像处理模块得到的待检测零件的纹理特征图进行相似度匹配算法，其特征在于，计算待检测零件的索贝尔纹理特征图的Hu矩特征值，通过将待检测零件的特征值与模板零件特征值进行归一化对比，求得相似度，从而判断待检测零件是否有表面缺陷；

检测算法中的Hu矩共有7个矩，本相似度匹配算法采用了Hu矩中的前两个矩进行表面缺陷检测，分别为：

M₁＝η₂₀+η₀₂

M₂＝(η₂₀-η₀₂)²+4η₁₁ ²

其中，M_i为i阶Hu矩，i为自然数，η_mn为(m+n)阶归一化中心矩，m，n分别为图像像素点横纵坐标的次数。