CN106501278B - 基于旋转不变纹理特征的灯管表面瑕疵分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于旋转不变纹理特征的灯管表面瑕疵分类方法和系统，采集节能灯管图像，利用滑动窗口方法获取灯管瑕疵部位；利用灰度共生矩阵的能量、对比度、同质性、相关性4个参数判断出瑕疵的大致方向；根据判断出来的大致方向，再次细分，找出瑕疵纹理的准确方向；将图像旋转校正，并计算旋转后的LBP特征；利用瑕疵准确方向上灰度共生矩阵计算出的4个参数和LBP特征，得到灯管瑕疵部分的纹理特征矩阵；利用纹理特征矩阵计算出待检测的灯管瑕疵与预收集瑕疵的相似度，最终将待分类瑕疵图像归类为相似度最大的一类。本节能灯管成品质量检测方法，检测效率和分类精度高，同时大大降低了检测人员的劳动强度。

Description

基于旋转不变纹理特征的灯管表面瑕疵分类方法及系统

技术领域

本发明属于产品质量检测技术领域，具体涉及一种基于旋转不变纹理特征的粉管表面瑕疵分类方法及其分类系统。

背景技术

在节能灯管的生产过程中，需要用荧光粉均匀地涂在玻璃管壁上，因此荧光粉喷涂质量就直接影响到节能灯的生产合格率。如果在生产过程中，由于机器设备或其他偶然因素造成荧光粉涂层刮擦、喷涂不均匀等瑕疵时，这些次品灯管需要按照不同瑕疵类别进行二次加工。因此灯管表面瑕疵检测和分类对节能灯的产品质量检测至关重要。

在对节能灯管表面瑕疵情况进行检测和分类过程中，能够准确并且高效地在线实时检测和分类是十分重要的。然而，由于生产加工过程中产生瑕疵方向的不定性等因素，成品节能灯管的质量检测成为产品质量自动检测领域的一个技术难题。

在现有的工艺条件下，节能灯管的瑕疵检测和分类一般是采用离线人工肉眼进行检测和分类，根据一些先验的经验来确定瑕疵的类别。虽然在一定程度上满足了需求，但是由于检测分类效率的低下、自动化程度低、人工检测易于出错和出现误检等问题，不能够满足现代化企业对于瑕疵灯管的检测和分类的实际需求。

专利号为ZL 201310015434.4的中国发明专利“一种基于机器视觉的U型粉管的检测方法及其检测系统”公开了一种通过图像采集、特征提取、瑕疵判别计算，最终判定被测粉管涂粉质量合格还是不合格，该方法及系统能够实现U型粉管涂粉效果的实时检测，但是无法有效判断瑕疵的不同类别，不能有效地对U型粉管瑕疵进行在线实时的分类。

发明内容

针对现有技术所存在的上述技术缺陷及不足，本发明提供了一种基于旋转不变纹理特征的灯管表面瑕疵分类方法和系统。

基于上述瑕疵分类方法本发明还提供了一种基于旋转不变纹理特征的灯管表面质量检测和瑕疵分类方法和系统。

本发明实现了灯管成品表面瑕疵的实时检测以及瑕疵类型的区分，检测效率和分类精度高，提高了节能灯管生产流水线的效率，同时大大降低了检测人员的劳动强度。

为解决上述技术问题，本发明提供的技术方案分别如下：

一种基于旋转不变纹理特征的灯管表面瑕疵分类方法，其特征在于，包括如下步骤：

(1)采集各类别瑕疵灯管的瑕疵图像，按照设定方向，建立样本库；该步骤实际操作时，预先收集节能灯管生产公司人工分拣出的节能灯管次品，对次品粉管(灯管)按照瑕疵种类进行人工区分，将粉管瑕疵归类为几种典型类别，对各类别瑕疵采集一定数量图像，并按照设定方向对这些图像进行旋转，并保存这些图片，建立样本库；

(2)采集待分类瑕疵灯管的灯管图像，读取灯管图像中包含瑕疵的感兴趣区域(ROI，Region of Interesting)，截取瑕疵图像的感兴趣区域部分，得到待分类图像；

(3)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(4)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；该步骤中，所述的设定方向一般是指与样本库中指定的方向一致，以便于后续的计算和对比；

(5)提取旋转校正后图像的LBP(Local Binary Patterns，局部二值模式)特征，并结合该待分类图像的特征参数，得到待分类图像的纹理特征矩阵；

(6)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(7)将待分类图像归类为相似度最大的一类。

作为优选，步骤(3)中，判断灯管瑕疵的方向的具体方法如下：

(4-1)在0-180°角度范围内，以设定大角度间隔△θ₁得到若干大角度方向，在得到的大角度方向上分别求取待分类图像的灰度共生矩阵，并计算该灰度共生矩阵的特征参数，判断出灯管瑕疵的大致方向范围；

(4-2)针对判断出的大致方向范围，再以设定小角度间隔△θ₂细分出相应的多个细分方向，计算出多个细分方向上相应的灰度共生矩阵，并计算该灰度共生矩阵的特征参数，判断出灯管瑕疵的灯管瑕疵的准确方向范围。

采用上述方案，先确定大致方向范围，再在该范围内细分计算，大大提高了计算的针对性，可进一步提高计算效率。

作为优选，所述△θ₁＝45°，所述若干大角度方向分别为0°、45°、90°、135°。即，在步骤(4-1)中，计算待分类图像在0°、45°、90°、135°4个方向的灰度共生矩阵。步骤(4-1)中，根据特征参数得到的符合的要求的角度值定义为大致角度目标值，定义为θ’，所述大致方向范围＝θ’±△θ₁。比如，步骤(4-1)中，判断出大致角度目标值为90°，得到的所述灯管瑕疵的大致方向范围为45-135°。

作为优选，所述△θ₂＝15°。即，步骤(4-2)中，利用步骤(4-1)所判断出的大致方向范围，再以15°为间隔，细分出6个方向，并计算出6个方向上相应的灰度共生矩阵；计算出6个细分方向上灰度共生矩阵的能量、对比度、同质性、相关性4个参数，并判断出灯管瑕疵的准确方向范围。步骤(4-2)中，根据特征参数得到的符合的要求的角度值定义为准确角度目标值，定义为θ”，所述准确方向范围＝θ”±△θ₂。比如，步骤(4-2)中，判断出大致角度目标值为90°，得到的所述灯管瑕疵的准确方向范围为75-105°。

作为优选，所述特征参数为灰度共生矩阵的能量(Energy)、对比度(Contrast)、同质性(Homogeneity)、相关性(Correlation)的4个参数。

对瑕疵方向进行判断时，首先计算灰度共生矩阵的能量(Energy)、对比度(Contrast)、同质性(Homogeneity)、相关性(Correlation)4个参数：

其中k为灰度共生矩阵的行数(列数)，P(i,j)为图像在(i,j)处的灰度值，μ_i,μ_j,σ_i,σ_j计算公式如下：

然后，判断灯管瑕疵的大致方向可采用公式(10)～(13)中的一个或者多个：

φ₁＝f(max{Energy_θ}) (10)

φ₂＝f(min{Contrast_θ}) (11)

φ₃＝f(max{Homogeneity_θ}) (12)

φ₄＝f(max{Correlation_θ}) (13)

其中函数f(x)是在特征x下所对应的方向，θ为各个方向的角度，正常情况下φ₁＝φ₂＝φ₃＝φ₄，取灯管瑕疵大致方向φ＝φ₁±△θ₁＝[φ_iφ_i+1]；

作为优选，所述准确方向为一个角度范围θ₀～θ₁，所述旋转校正时，旋转的方向为即θ”。

一种基于旋转不变纹理特征的灯管表面质量检测和瑕疵分类方法，包括上述任一方案所述的基于旋转不变纹理特征的灯管表面瑕疵分类方法，其中，步骤(2)替换为：

(2)在线实时采集待检测灯管的灯管图像；利用滑动窗口方法检测上述灯管图像是否存在瑕疵：若待检测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；若不存在瑕疵，则输出灯管合格；

重复步骤(2)-(7)实现对多个灯管的质量检测，以及对多个灯管或者一个灯管多个瑕疵的瑕疵分类。

利用上述方案，可实现灯管的实时在线检测。

本发明还提供一种基于旋转不变纹理特征的灯管表面瑕疵分类系统，包括：

图像采集单元，用于采集待分类瑕疵灯管的灯管图像；

图像处理单元，用于对所述的灯管图像进行处理，并计算出瑕疵分类结果；

检测结果显示单元，用于显示图像处理单元检测结果；

所述的图像处理单元对所述的灯管图像进行处理，并计算出瑕疵分类结果时，具体方法为：

(i)读取灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；

(ii)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(iii)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；

(iv)提取旋转校正后图像的LBP特征，并结合该待分类图像的特征参数，得到待分类图像的纹理特征矩阵；

(v)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(vi)将待分类图像归类为相似度最大的一类。

本发明提供了一种基于旋转不变纹理特征的灯管表面质量检测和瑕疵分类系统，包括：

图像采集单元，用于实时采集待检测灯管的灯管图像；

图像处理单元，用于对所述的灯管图像进行处理，并计算出瑕疵分类结果；

检测结果显示单元，用于显示图像处理单元检测结果；

所述的图像处理单元对所述的灯管图像进行处理，并计算出瑕疵分类结果时，具体方法为：

(i)利用滑动窗口方法检测上述灯管图像是否存在瑕疵，若待检测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；若不存在瑕疵，则输出灯管合格；

(ii)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(iii)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；

(iv)提取旋转校正后图像的LBP特征，并结该待分类图像的特征参数，得到待分类图像的纹理特征矩阵；

(v)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(vi)将待分类图像归类为相似度最大的一类。

所述的图像处理单元为工业控制计算机，通过分类算法和软件编程实现节能灯管表面瑕疵的分类。同时，为便于灯管质量检测过程的监控，所述图像处理单元内还可以包括人机界面软件，用于实时显示所述的待分类节能灯管瑕疵图像以及瑕疵分类结果，记录分类历史数据，并接收用户的操作指令对软件进行参数设定。

针对节能灯管现有的工艺水平和实际环境产生的瑕疵方向不定性问题，本发明充分考虑了对于灯管瑕疵方向的不定性因素，实现了基于旋转不变纹理特征的节能荧光管粉管瑕疵的分类，并且能够高效的批量检测、在线实时分类。

本发明通过高速工业摄像机，配合背光源实时采集流水线上的节能灯管图像，利用灰度共生矩阵和LBP纹理特征方法，实现对节能灯管产品质量快速分类，具有旋转不变、连续、实时、精度高的优点；在保证测量精度的前提下大大缩减了相应的检测成本。

本节能灯管成品质量检测方法，检测效率和分类精度高，同时大大降低了检测人员的劳动强度。

附图说明

图1为本发明的节能灯管成品质量检测和瑕疵分类方法的步骤流程示意图。

图2为3×3邻域的LBP举例示意图。

图3为实施例中具体的待分类瑕疵图像以及相似度对比图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，一种基于旋转不变纹理特征的节能灯管成品质量检测和瑕疵分类方法，包括如下步骤：

(1)预先收集节能灯管生产公司人工分拣出的节能灯管次品，对次品粉管按照瑕疵种类进行人工区分，将粉管瑕疵归类为几种典型类别，令各个类别为I_n，n＝1,...,z，z是瑕疵类别数，针对各类别瑕疵采集一定数量瑕疵图像，将瑕疵图像的方向旋转至设定角度(比如水平方向)，得到样本库图像，构建样本库；

(2)实时采集待检测的节能灯管的灯管图像；

(3)利用滑动窗口方法检测上述灯管图像是否存在瑕疵，若待检测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域(ROI，Region of Interesting)；若待检测图像不存在瑕疵，则灯管为合格品，可对下一个灯管进行检测；

(4)截取瑕疵灯管图像的感兴趣区域部分(ROI)，得到待分类图像，并计算ROI在0°、45°、90°、135°角度方向上的灰度共生矩阵；

P(i,j)＝#{(x₁,y₁),(x₂,y₂)∈M×N|f(x₁,y₁)＝i,f(x₂,y₂)＝j} (1)

其中#(x)表示集合x中的元素个数，P(i,j)表示灰度共生矩阵在(i,j)处的灰度值，f(x₁,y₁)和f(x₂,y₂)分别表示在(x₁,y₁)和(x₂,y₂)处的灰度值；(x₁,y₁)和(x₂,y₂)指待分类图像中的任意两个点。

(5)分别计算在各个角度方向上灰度共生矩阵的能量(Energy)、对比度(Contrast)、同质性(Homogeneity)、相关性(Correlation)4个特征参数：

其中k为灰度共生矩阵的行数(列数)，P(i,j)为图像在(i,j)处的灰度值，μ_i,μ_j,σ_i,σ_j计算公式如下：

(6)判断灯管瑕疵的大致方向：

φ₁＝f(max{Energy_θ}) (10)

φ₂＝f(min{Contrast_θ}) (11)

φ₃＝f(max{Homogeneity_θ}) (12)

φ₄＝f(max{Correlation_θ}) (13)

其中函数f(x)是在特征x下所对应的方向，θ为各个方向的角度，正常情况下φ₁＝φ₂＝φ₃＝φ₄，所以判断时，可选择式(10)～(13)中一个或多个式子进行判断，取灯管瑕疵大致方向为：φ＝φ₁±45°；

(7)根据大致方向φ，在[φ_iφ_i+1]区间内，再以15°为间隔，再细分6个方向，并以步骤(6)的方式，判断出灯管瑕疵的具体方向范围[ρ₁ρ₂]；

(8)将待检测的灯管瑕疵图像顺时针旋转角度(水平方向)，进行旋转校正：

(9)截取旋转校正图像的最大内接矩形，计算旋转校正后每个像素的LBP值，形成LBP特征矩阵：

其中P为采样点个数，R为采样半径，g_c为中心像素的灰度值，g_p为采样点的灰度值，如图2所示(起点为235)；

(10)计算待检测灯管瑕疵的纹理特征矩阵：

C＝[k₁×M₁ k₂×M₂] (17)

其中k₁,k₂为特征系数，M₁为LBP特征矩阵，M₂为旋转校正前待分类的灯管瑕疵图像在方向上能量、对比度、同质性、相关性这4个参数组成的特征矩阵；

(11)计算待分类图像与每一个瑕疵图像类的相似度：

其中CI(i,j)为预收集瑕疵的纹理特征矩阵；

(12)将待分类图像归类为相似度最大的一类：

重复步骤(3)～(12)实现对多个节能灯管的质量检测和瑕疵分类。

图3为本发明具体应用在具体的一个瑕疵灯管的检测和分类结果，图3中上面的为待分类瑕疵图像；经过本发明的方法，最终得到该待分类瑕疵图像与图3下面的第一个图像的相似度最大(为0.9161)；从瑕疵图像我们也可以看出，图3中的待分类图像与图3下面第一张图像属于同一类瑕疵。这也进一步证明了本实施方式的检测方法得出的灯管表面瑕疵分类结果具有较高的效率和可靠性，值得信赖。

本灯管瑕疵分类系统包括图像采集单元、图像处理单元和分类结果显示单元。

图像采集单元，用于实时采集待测节能灯管图像；可采用工业摄像机、镜头和照明光源实现。工业摄像机使用大恒DH-GV400UM黑白1/3英寸CMOS摄像机，全帧曝光扫描方式，分辨率为752×480，帧率可达60帧/秒，输出接口为USB，镜头卡口为C/CS口，体积小巧，易于安装，能满足实时检测要求；镜头选用日本Computar的8mm无畸变镜头。光源选用纬朗160×160mm面形蓝色LED光源，光源控制器选用纬朗VL-LC-11-4CH型号USB光源控制器。

图像处理单元，用于对所述的节能灯管图像进行处理，并计算出灯管瑕疵分类结果；图像处理单元硬件可采用工业控制计算机，核心部分为编写的计算机软件。具体工作方式为：

(i)在图像采集单元采集的节能灯管图像中，利用滑动窗口方法获取灯管瑕疵部位；

(ii)通过计算灰度共生矩阵的能量、对比度、同质性、相关性的4个参数，判断出瑕疵的方向，同时对瑕疵图像进行旋转校正；

(iii)计算旋转校正后图像的LBP特征，并得到最终纹理特征矩阵；

(iv)计算待分类瑕疵图像与预收集的各类瑕疵样本图像的相似度，最终将待分类图像归类为相似度最大的一类。

所述的图像处理单元通过软件编程以及上述分类算法实现节能灯管表面瑕疵的分类。同时，为便于灯管质量检测过程的监控，所述图像处理单元内还可以包括人机界面软件，用于实时显示所述的待分类节能灯管瑕疵图像以及瑕疵分类结果，记录分类历史数据，并接收用户的操作指令对软件进行参数设定。实际过程中通过显示屏显示。工业控制计算机通过USB数据线连接工业摄像机和光源控制器。工业控制计算机采用研华工业控制计算机，该机采用Intel双核处理器，主频3.0GHz，内存2G，硬盘160G，19寸液晶显示器，满足工业现场恶劣环境的要求。

检测结果显示单元，实际上可选择与工业控制计算机相连的显示器，配合编写的产品瑕疵分类系统监控软件，可直观地显示图像处理单元分类结果。

Claims (7)

1.一种基于旋转不变纹理特征的灯管表面瑕疵分类方法，其特征在于，包括如下步骤：

(1)采集各类别瑕疵灯管的瑕疵图像，按照设定方向，建立样本库；

(2)采集待分类瑕疵灯管的灯管图像，读取灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；

(3)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(4)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；

(5)提取旋转校正后图像的LBP特征，并结合该待分类图像的特征参数，得到待分类图像的纹理特征矩阵；

(6)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(7)将待分类图像归类为相似度最大的一类；

所述特征参数为灰度共生矩阵的能量、对比度、同质性、相关性；

步骤(3)中，判断灯管瑕疵的方向的具体方法如下：

(3-1)在0-180°角度范围内，以设定大角度间隔△θ₁得到若干大角度方向，在得到的大角度方向上分别求取待分类图像的灰度共生矩阵，并计算该灰度共生矩阵的特征参数，判断出灯管瑕疵的大致方向范围；

(3-2)针对判断出的大致方向范围，再以设定小角度间隔△θ₂细分出相应的多个细分方向，计算出多个细分方向上相应的灰度共生矩阵，并计算该灰度共生矩阵的特征参数，判断出灯管瑕疵的灯管瑕疵的准确方向范围。

2.根据权利要求1所述的基于旋转不变纹理特征的灯管表面瑕疵分类方法，其特征在于，所述△θ₁＝45°，所述若干大角度方向分别为0°、45°、90°、135°。

3.根据权利要求1所述的基于旋转不变纹理特征的灯管表面瑕疵分类方法，其特征在于，所述△θ₂＝15°。

4.根据权利要求1所述的基于旋转不变纹理特征的灯管表面瑕疵分类方法，其特征在于，所述准确方向为一个角度范围θ₀～θ₁，所述旋转校正时，旋转的方向为

5.一种基于旋转不变纹理特征的灯管表面质量检测和瑕疵分类方法，其特征在于，包括权利要求1～4任一项所述的基于旋转不变纹理特征的灯管表面瑕疵分类方法，其中，步骤(2)替换为：

(2)在线实时采集待检测灯管的灯管图像；利用滑动窗口方法检测上述灯管图像是否存在瑕疵：若待检测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；若不存在瑕疵，则灯管为合格品；

重复步骤(2)-(7)实现对多个灯管的质量检测，以及对多个灯管或者一个灯管多个瑕疵的瑕疵分类。

6.一种采用权利要求1～4任一项所述方法的基于旋转不变纹理特征的灯管表面瑕疵分类系统，其特征在于，包括：

图像采集单元，用于采集待分类瑕疵灯管的灯管图像；

图像处理单元，用于对所述的灯管图像进行处理，并计算出瑕疵分类结果；

检测结果显示单元，用于显示图像处理单元检测结果；

所述的图像处理单元对所述的灯管图像进行处理，并计算出瑕疵分类结果时，具体方法为：

(i)读取灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；

(ii)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(iii)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；

(iv)提取旋转校正后图像的LBP特征，并结合该待分类图像的特征参数，得到待分类图像的纹理特征矩阵；

(v)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(vi)将待分类图像归类为相似度最大的一类。

7.一种采用权利要求5所述方法的基于旋转不变纹理特征的灯管表面质量检测和瑕疵分类系统，其特征在于，包括：

图像采集单元，用于实时采集待检测灯管的灯管图像；

图像处理单元，用于对所述的灯管图像进行处理，并计算出瑕疵分类结果；

检测结果显示单元，用于显示图像处理单元检测结果；

所述的图像处理单元对所述的灯管图像进行处理，并计算出瑕疵分类结果时，具体方法为：

(i)利用滑动窗口方法检测上述灯管图像是否存在瑕疵，若待检测图像存在瑕疵，计算出灯管图像中包含瑕疵的感兴趣区域，得到待分类图像；若不存在瑕疵，则输出灯管合格；

(ii)在设定角度方向上求取待分类图像的灰度共生矩阵，同时计算相应设定角度方向上灰度共生矩阵的特征参数，根据所述特征参数判断出待分类图像中灯管瑕疵的方向；

(iii)根据求得的灯管瑕疵的方向，将待分类图像进行旋转校正，使得灯管瑕疵的方向接近设定方向；

(iv)提取旋转校正后图像的LBP特征，并结合该待分类图像的的特征参数，得到待分类图像的纹理特征矩阵；

(v)根据求得的纹理特征矩阵，计算待分类图像与各类瑕疵图像的相似度；

(vi)将待分类图像归类为相似度最大的一类。