CN115187548A

CN115187548A - 一种基于人工智能的机械零件缺陷检测方法

Info

Publication number: CN115187548A
Application number: CN202210810838.1A
Authority: CN
Inventors: 常颖
Original assignee: Individual
Current assignee: Individual
Priority date: 2022-07-11
Filing date: 2022-07-11
Publication date: 2022-10-14

Abstract

本发明涉及一种基于人工智能的机械零件缺陷检测方法，获取机械零件图像进行图像预处理，包括滤波去噪和图像增强处理,使用混合高斯模型对所有像素点进行分类，得到正常区域和异常区域，获取异常区域的最大内接矩形，计算出最大内接矩形的奇异指标值和异常区域的多维分形谱，根据每个像素点的像素点各向异性和纹理分布指标，得到异常区域的各向异性指标和纹理结构指标，根据异常区域的各向异性指标和纹理结构指标得到异常区域的结构均匀指标，根据指标建立零件缺陷检测模型，根据零件缺陷检测模型判断待测零件是否需要加工修复，基于人工智能，精准而高效。

Description

一种基于人工智能的机械零件缺陷检测方法

技术领域

本申请涉及机械零件缺陷检测领域，具体涉及一种基于人工智能的机械零件缺陷检测方法。

背景技术

在机械等领域中，各种高科技产品的集成度越来越高，零件的质量和加工工艺过程的完成质量直接影响零件产品的质量及性能，其中，零件表面出现缺陷时将会影响零件在使用过程中的密封性以及安全性等问题。传统进行即兴零件表面缺陷检测一般是根据领域内的专业检测人员进行识别，该方法人工成本较高，人为检测主观性较强，检测结果误检率高，且对检测人员的专业性有较高要求，人为检测检测效率及检测精度低。

发明内容

本发明提供一种基于人工智能的机械零件缺陷检测方法，解决人工检测零件的实时性低、检测效率低的问题，采用如下技术方案：

获取待检测机械零件图像进行图像预处理，包括滤波去噪和图像增强处理；

提取预处理后图像中的异常区域，获取每个异常区域的最大内接矩形区域，使用滑动窗口在最大内接矩形区域内进行步长为1的滑动，得到多个窗口区域，根据每个窗口区域的中心像素点的像素值得到每个窗口区域中心像素点的像素表征值，根据像素表征值得到每个窗口区域中心像素点的概率测度值；

根据每个窗口区域中心像素点的概率测度值得到每个窗口区域的奇异指数，根据每个窗口区域的奇异指数得到异常区域的奇异指标值；

将奇异指数相同的窗口区域作为一个子集合，统计每个奇异指数包含的窗口区域的个数，根据每个奇异指数包含的窗口区域的个数得到异常区域的多维分形谱；

获取异常区域每个像素点的Hessian矩阵，得到该像素点的两个特征值和两个特征向量，根据两个特征值和两个特征向量得到每个像素点的各向异性；

根据每个像素点的两个特征向量方向上的像素序列中相邻像素点的灰度级组合出现的概率得到每个像素点的纹理分布指标；

根据每个像素点的各向异性和纹理分布指标得到异常区域的各向异性指标和纹理分布指标；

根据异常区域的各向异性指标和纹理分布指标得到异常区域的结构均匀指标；

根据异常区域的多维分形谱和图像中的正常区域的多维分形谱的余弦相似度、异常区域奇异指标值得和异常区域的结构均匀指标得到零件缺陷检测值；

根据零件缺陷检测值对待检测机械零件的缺陷程度进行判断。

所述提取出图像中的异常区域的方法如下：

将图像中每个像素点输入到混合高斯模型的每个子高斯模型中，计算每个像素点属于每个子高斯模型的概率，将每个像素点归类到概率最高的子高斯模型中，将每个子高斯模型作为一类，实现对像素点的类别划分，将包含像素点最多的类别作为正常区域，其他类别为异常区域。

所述每个窗口区域内的中心像素点的概率测度值的获取方法为：

计算每个窗口区域的中心像素点的像素表征值，方法为：

式中，K_aw(i0,j0)为使用尺寸为w的滑动窗口遍历异常区域的最大内接矩形，得到多个窗口区域，在窗口区域a内的中心像素点(i0,j0)的像素表征值，G(i,j)为窗口区域内(i,j)处像素点的像素值，v(i,j)为窗口区域内(i,j)处像素点的权值；

根据每个窗口区域的中心像素点的像素表征值得到概率测度值，方法为：

式中，P_a(i,j)为第a个窗口区域中心点的概率测度值，a＝1，2，3…，m，m为异常区域的最大内接矩形中滑动窗口的滑动次数，即窗口区域的个数。

所述异常区域的奇异指标值得获取方法如下：

计算出每个窗口区域的奇异指数，方法如下：

式中，P_a(w)为使用尺寸为w的滑动窗口遍历异常区域的最大内接矩形时，第a个窗口区域的中心像素点的概率测度值，a＝1,2,…,N，N为窗口区域的数量；

将所有窗口区域的奇异指标均值

作为异常区域的奇异指标值。

所述零件缺陷检测值，计算方法如下：

式中，U为零件缺陷检测值，e＝1,2,…,E，E为待检测零件表面异常区域的数量，S_e为待检测零件表面第e个异常区域的面积，S为零件表面总面积，γ_e为待检测零件表面第e个异常区域的奇异指标值，R_e为待检测零件表面第e个异常区域和正常区域的多重分形谱展开的一维向量之间的余弦相似度，v_e为待检测零件表面第e个异常区域的结构均匀特征指标。

所述异常区域的结构均匀指标计算方法为：

式中，

为异常区域内的所有像素点的各向异性F的均值，Q为异常区域所有像素点的纹理分布指标q加权后得到的纹理结构指标值。

所述像素点的各向异性获取方法如下：

以每个像素点为中心，根据每个像素点的Hessian矩阵得到的两个特征值和特征向量构建椭圆，得到每个像素点的各向异性，方法为：

F＝log_a[(d_max-d_min)+1]

式中，F为每个像素点的各向异性，d_max椭圆的最长直径，d_min为椭圆最短直径，a为模型参数。

所述像素点的纹理分布指标获取方法如下：

获取每个像素点在其Hessian矩阵得到的两个特征向量方向直线上的两个邻域像素点序列；

计算出每个邻域像素点序列中每个像素点的灰度级；

根据相邻的两个像素点的灰度级得到灰度组合mn；

统计出每个灰度组合mn，在所有灰度组合中出现的概率P_mn；

根据P_mn计算出每个像素点的每个邻域像素点序列的纹理分布指标，方法为：

式中，q_l为每个像素点的每个邻域像素序列的纹理分布指标，m＝1,2,…,M，n＝1,2,…,N,M、N分别为灰度级组合mn中m、n的灰度级的个数；

将每个像素点的两个邻域像素点序列的纹理分布指标均值，作为每个像素点的纹理分布指标q。

所述对待检测机械零件的缺陷程度进行判断的方法为：

当待检测零件表面所对应的缺陷检测值U大于预设阈值T时，则零件表面存在严重缺陷，需要操作人员对零件再次加工修复。

本发明的有益效果是：

通过采集机械零件图像进行去噪和增强处理后，使用高斯模型拟合得到图像中的灰度分布信息，并对图像中像素点进行分类，得到异常区域和正常区域，提取出异常区域区域特征值包括奇异指标值、异常区域的多维分形谱、异常区域的结构均匀指标，根据指标构建权限检测模型，对待测零件进行检测，基于图像处理分析和人工智能，精准而高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于人工智能的机械零件缺陷检测方法的流程示意图；

图2是本发明的一种基于人工智能的机械零件缺陷检测方法的灰度级组合概率计算示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于人工智能的机械零件缺陷检测方法的实施例，如图1所示，包括：

S1：获取待检测机械零件图像进行图像预处理，包括滤波去噪和图像增强处理；

该步骤的目的是提高系统精度，采集待分析的图像，并通过图像预处理消除图像中的噪声以及光照不均匀影响，改善相机采集的图像质量，以提高后续检测零件表面缺陷的准确度。

需要说明的是，相机采集到机械零件表面图像之后，考虑到机械零件加工生产等工业环境较为复杂、恶劣，图像采集过程中将会产生大量的图像噪声，影响机械零件表面图像的高质量采集，因此，为提高系统检测精度，本实施例将对相机所采集的图像进行预处理，包括图像滤波去噪以及图像增强处理。

S2：提取预处理后图像中的异常区域，获取每个异常区域的最大内接矩形区域，使用滑动窗口在最大内接矩形区域内进行步长为1的滑动，得到多个窗口区域，根据每个窗口区域的中心像素点的像素值得到每个窗口区域中心像素点的像素表征值，根据像素表征值得到每个窗口区域中心像素点的概率测度值；

该步骤的目的是，在S1预处理后的机械零件图像中使用混合高斯模型拟合出图像中每个像素点的位置和灰度分布信息，使用混合高斯模型的子高斯模型对图像中所有像素点进行分类，将包含像素点最多的类别的像素点对应的区域作为正常区域，其他类别的像素点对应的区域作为异常区域，然后使用滑动窗口滑动图像，计算出每个窗口区域的中心像素点的像素表征值、概率测度值；

其中，获取图像中异常区域和正常区域的步骤为：

首先，对于所获取的图像数据，本实施例将基于像素点的位置信息以及灰度信息，拟合一个高斯混合模型，该高斯混合模型中的高斯子模型个数为N，所拟合的高斯混合模型可分析零件表面图像的灰度以及结构情况，高斯混合模型如下：

式中,X表示图像内的像素点，ω_n为第n个子高斯模型的权值，通过EM算法进行计算获取。Xn表示第n个子高斯模型中每个像素点的特征向量

x,y,G分别为表示第n个子高斯模型中像素点的位置(x,y)及灰度值；μ_n表示第n个子高斯模型的均值向量

V_c表示第n个子高斯模型对应的所有像素点的协方差矩阵，为三行三列的矩阵。

然后，对图像中所有像素点进行分类，根据获取高斯混合模型中所包含的高斯子模型的个数N，对图像数据中的各像素点进行聚类分析，将其分为N个类别，方法如下：

a.先选取N个像素点作为初始点，初始点的选取具体为：对于图像中的各像素点，本实施例将通过各像素点周围的像素灰度密度分布情况对初始点进行选取，所述灰度密度分布情况为：

式中，ρ_c为第c个像素周围的灰度密度分布，d_ZC为像素点z和像素点c之间的灰度差异，d_t为对比距离指标，实施者可自行设定，本实施例将其设置为d_t＝8，I代表待分析图像数据。根据所述方法获取各像素点的灰度密度分布序列：{ρ₁,ρ₂,…,ρ_n}，式中，n为图像中像素点数量，选取TOP-N个像素点，作为聚类分析的初始点；

b.获取各初始点之后，本实施例将对各像素点数据进行聚类分析，对于每个像素点，计算其属于第N个类别的概率：

对于待分析像素点，本实施例将其输入到各子高斯模型中，得到各子高斯模型生成该待分析像素点的概率，根据所述方法可获取待分析像素点属于各子模型的得分集合：

Score＝{Score₁,Score₂,…,Score_N}

Score₁为待分析像素点属于第1个类别的分值(概率)，Score代表待分析像素点的各类别得分集合，将待分析像素点归类到j＝Argmax[Score_j]类别中，即待分析像素点属于哪个子高斯模型的概率最大，就将待分析像素点归类到哪个子高斯模型中。

最后，本实施例设置将样本数量最多(包含像素点最多)的类别，即含有像素点最多的子高斯模型里面的像素点，作为零件表面正常所对应的区域，将其他样本较少类别所对应的区域作为异常区域，用于后续的缺陷区域准确识别。

需要说明的是，本步骤中区域划分的优点在于像素点聚类方法效果准确，且计算量较小，不仅根据像素点的灰度信息进行类别划分，同时考虑了各像素点的多维特征分布情况，可精确对异常区域进行初步提取，提高系统精度。

其中，对于提取出的异常区域，使用最大内接矩形的尺寸为M×N，采用尺寸为w×w的滑动窗口对最大内接矩形进行分析，以最大内接矩形左上角开始为第一个窗口，将窗口在最大内接矩形上从左到右，从上到下步长为1进行滑动，若滑动窗口在最大内接矩形内滑动了H_d次，可看作滑动窗口将最大内接矩形划分了H_d个窗口区域，本实施例中w＝3。

其中，每个窗口区域的中心像素点的概率测度值P(i,j)的计算步骤为：

(1)构建窗口区域中心点像素表征模型，用于计算窗口区域中心像素点的像素表征值，方法为：

式中，K_aw(i0,j0)为窗口区域a的中心像素点的像素表征值，G(i,j)为(i,j)处像素点的像素值，v(i,j)为窗口区域内(i,j)处像素点的权值，

(i0,j0)代表窗口区域中心点坐标，A、c为模型参数，本实施例设置A＝2，c＝4，e为自然常数约等于2.72；

(2)通过上述方法计算各窗口区域中心点的像素表征值，建立中心点概率测分析模型，用于计算各中心点的概率测度值：

式中，P_a(i,j)为第a个窗口区域中心点的概率测度值，m为待分析最大内接矩形中窗口区域的滑动次数。

S3：根据每个窗口区域中心像素点的概率测度值得到每个窗口区域的奇异指数，根据每个窗口区域的奇异指数得到异常区域的奇异指标值；

该步骤的目的是通过奇异指数均值反映最大内接矩形的奇异程度，作为后续分析的特征值。

需要说明的是，根据S3计算得到的每个窗口区域的中心像素点的概率测度，对于不同尺寸w×w的滑动窗口，所得到的中心像素点会出现不同的概率测度值。

因此，根据多重分形算法可得到：

P_a(w)∝w^γ

式中，γ为奇异指数，用于反映区域的奇异程度，当窗口尺寸w取值趋于零时，本实施例可得到奇异指数计算模型如下：

其中，P_a(w)为滑动窗口尺寸为w时第a个窗口区域中心像素点的概率测度值。N为所述最大内接矩形被分成的窗口区域个数，也即窗口个数，将最大内接矩形内的各奇异指数均值作为表征最大内接矩形的奇异指标值

也作为该异常区域的奇异指标值，

S4：将奇异指数相同的窗口区域作为一个子集合，统计每个奇异指数包含的窗口区域的个数，根据每个奇异指数包含的窗口区域的个数得到异常区域的多维分形谱；

该步骤的目的是，对S3得到的最大内接矩形内的奇异指数进一步分析，最大内接矩形对应的异常区域的多维分形谱信息；

其中，异常区域的多维分形谱的获取步骤为：

对于w尺寸的滑动窗口下所划分的最大内接矩形，将同一奇异指数对应的各窗口区域作为一个子集合，也即每个子集合都有相同的奇异指数γ，统计各奇异指数所对应的窗口区域的个数，记为N(w，根据多重分形算法可得各子集合内的单元个数(窗口个数)与窗口尺寸以及奇异指数之间的关系：

N(w)∝w^-f(γ)

式中，f(γ)为待分析最大内接矩形区域的多重分形谱，可以从不同分形维数对待分析区域进行分析表征，同样的，当滑动窗口尺寸w取值趋于零时，可获取对应的多维分形谱：

根据上述方法，本实施例将待分析区域内的复杂结构划分为一系列具有不同奇异指数γ值的子集合，并通过多维分形谱f(γ)表征一系列子集合的分形特征，作为待分析零件表面缺陷区域的特征描述，用于分析缺陷区域状况。

S5：获取异常区域每个像素点的Hessian矩阵，得到该像素点的两个特征值和两个特征向量，根据两个特征值和两个特征向量得到每个像素点的各向异性；根据每个像素点的两个特征向量方向上的像素序列中相邻像素点的灰度级组合出现的概率得到每个像素点的纹理分布指标；根据每个像素点的各向异性和纹理分布指标得到异常区域的各向异性指标和纹理分布指标；根据异常区域的各向异性指标和纹理分布指标得到异常区域的结构均匀指标；

该步骤的目的是建立像素各向异性分析模型，根据所述特征值，可对像素点的各向异性进行分析，也即图像在两个特征向量所指方向上的图像变化的程度，然后，为进一步基于像素点的海森矩阵对异常区域的纹理结构特征进行准确分析，本实施例将对像素点在所述特征向量所指向的方向上的多个像素点进行提取分析，获取两个像素序列l₁、l₂，基于所述像素序列分析异常区域的纹理信息，综合各向异性指标和纹理分布指标得到异常区域的结构均匀指标。

需要说明的是，最大内接矩形内每个像素点的Hessian矩阵，也即各像素点灰度值的二阶梯度特征，用于表征像素点灰度梯度变化程度。每个像素点的Hessian矩阵均包含两个特征值和两个特征向量，得到每个像素点Hessian矩阵所对应的两个特征值，记为h1、h2，在此需要说明，各像素点Hessian矩阵的两个特征值及特征向量的具体计算方法及过程为常规技术，不做详细说明。

其中，每个像素点的各向异性的计算方法为：

以待检测像素点为中心，根据其Hessian矩阵所对应的两个特征值和特性向量构建一个椭圆，用于分析像素点的像素各向异性，像素各向异性计算模型为：

F＝log_a[(d_max-d_min)+1]

式中，F为像素点的各向异性，d_max椭圆的最长直径，d_min为椭圆最短直径，a为模型参数，本实施例取值为a＝5。模型函数值越小，则对应的像素点周围像素的灰度分布曲率变化较小，函数值越高，则认为像素点周围在两个特征向量所指向的方向上的灰度梯度变化程度较大。将待分析异常区域内所有像素点各向异性均值作为异常区域的像素各向异性指标，记为

其中，每个像素点的两个邻域像素序列获取方法如下：

对于像素点i，获取其海森矩阵两个特征向量所对应的方向，在特征向量所指方向所在的直线上以像素点i为中心左右分别选取K个点，本实施例中K＝20，将其构成一个像素序列：l＝[g₁,g₂,…,g_k]，g_k为第k个像素点的灰度值，每个像素点对应两个特征向量，即可得到两个像素序列l₁、l₂。

其中，每个像素点的邻域像素序列及灰度等级、灰度组合的说明如下：

为降低系统计算量，本实施例将对图像中的像素点的像素值进行灰度等级划分，本实施例将其分为5个灰度等级，根据序列内像素点的灰度等级，将灰度级两两之间进行组合可获取多组灰度组合(g_m,g_n)，将每两相邻像素点灰度级作为一个灰度组合，统计出每个灰度组合出现的概率，本实施例中m＝1,2,…,5，n＝1,2,…,5，则所获取的灰度组合的数量与灰度等级有关，本实施例中所述灰度级组合数量为5×5。

其中，每个像素点的纹理分布指标的获取步骤为：

(1)统计每个邻域像素序列中各灰度组合出现的概率值P_ij。如图2所示，设定灰度值1-3为灰度级1,4-6为灰度级2,7-9为灰度级3，则该图中8个像素点的灰度级为：1，1，1，1，2，2，2，3，将每相邻的两个像素点灰度级作为一个灰度组合得到：(1,1)，(1,1)，(1,1)，(1,2)，(2,2)，(2,2)，(2,3)，总共有7中灰度级组合，则每种灰度级组合的概率为：

P(1,1)＝3/7,P(1,2)＝1/7,P(2,2)＝2/7,P(2,3)＝1/7。

(2)根据概率计算每个像素点的每个邻域像素序列的纹理分布指标，计算方法为：

式中，q_l为像素点i的邻域像素序列的纹理分布指标，m＝1,2,…,5，n＝1,2,…,5,P_mn为灰度级m和n构成的灰度组合在邻域像素序列中所有灰度级组合中出现的概率；

(3)对于像素点i，分别计算所对应的两个像素序列的纹理分布指标q_l、q_l'，并将两者均值q作为像素点i邻域像素的纹理分布指标，进一步将异常区域内各像素点的纹理分布指标进行加权求和，用于获取表征异常区域的纹理结构指标值Q；

进一步的，计算出异常区域的结构均匀指标，方法为：

式中，v为异常区域的结构均匀特征指标。

S6：根据异常区域的多维分形谱和图像中的正常区域的多维分形谱的余弦相似度、异常区域奇异指标值得和异常区域的结构均匀指标得到零件缺陷检测值；

该步骤的目的是通过零件缺陷检测值对零件进行检测。

其中，零件缺陷检测值为：

式中，U为零件缺陷检测值，e＝1,2,…,E，E为待检测零件表面异常区域的数量，S_e为待检测零件表面第e个异常区域的面积，S为零件表面总面积，γ_e为待检测零件表面第e个异常区域的最大内接矩形的奇异指标值，R_e为待检测零件表面第e个异常区域和正常区域的多重分形谱展开的一维向量之间的余弦相似度，v_e为待检测零件表面第e个异常区域的结构均匀特征指标。

进一步的，对模型进行归一化处理，保证函数值处于[0,1]，以便直观分析零件表面的缺陷情况。

需要说明的是，R_e获取方法如下：

提取零件表面多重分形谱f(γ)，同样的获取对应正常零件表面的多重分形谱f₀(γ)，将各自的多重分形谱数据展开作为一维向量，分别记为

用于计算两个向量之间的余弦相似度

表示向量

之间的余弦距离。

S7：根据零件缺陷检测值对待检测机械零件的缺陷程度进行判断。

该步骤的目的是通过零件缺陷检测模型的结果判断零件是够需要进一步加工修复，具体方法如下：

当待检测零件表面所对应的缺陷检测模型高于预设阈值时，本实施例将认为零件表面存在严重缺陷，影响后期投入使用的效果，需要操作人员对零件再次加工修复，以提高机械零件的完成效率及成品率。所述阈值实施者自行设定，本实施例将其设置为T＝0.4。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。