CN111612767A - 一种基于视觉的精密结构件识别方法 - Google Patents

Abstract

本发明公开了一种基于视觉的精密结构件识别方法，具体为：首先，采用互信息熵衡量模板精密结构件图像与待检测精密结构件图像的相似度以进行快速粗定位，进一步完成精密结构件图像中结构件目标的分割；然后，对分割后的结构件图像采用等积环分割得到多个目标环，在目标环内提取像素梯度幅值和梯度方向，通过数理统计的方法从梯度幅值分布和梯度方向分布中筛选出结构件特征点完成特征提取；最后，通过对模板图像特征和待检测图像特征的匹配实现精确定位及识别分类。本发明基于等积环形分割能准确识别纹理复杂、相似度高的精密结构件，具有速度快，精度高等优点。

Description

一种基于视觉的精密结构件识别方法

技术领域

本发明属于精密结构件定位识别领域，具体涉及一种基于视觉的精密结构件识别方法。

背景技术

传统的精密结构件加工采用的是工序制模式，即在对应的加工工序中，由专人根据所需的加工内容手动输入加工参数，该方式需要的人工参与度高，效率低。为提高精密结构件加工的智能化，在加工工序流中采用射频芯片技术是一种趋势，即将精密结构件的加工工艺参数等信息载入射频芯片中，并于该结构件所放置的托盘进行关联，在各加工工序中通过读取射频芯片自动获取该工序需完成的加工内容。然而，在结构件的热处理阶段，结构件与托盘的脱离导致结构件原有的射频芯片失效，无法将热处理后的结构件与热处理前的结构件一一对应，导致无法完成后续的结构件智能加工。因此，需要在提出一种精密结构件识别方法，将热处理前后的结构件进行对应。

目前已有的一些识别方法基本都采用机器视觉的技术，但单一的视觉处理无法满足精密结构件的识别。文献[1]提出了一种基于图像边缘特征的零件分类与定位算法，该算法通过边缘检测得到零件完整的边缘轮廓，然后对边缘轮廓图像使用梯度直方图(HOG)构造训练数据，并采用支持向量机(SVM)训练分类识别模型，完成零件的检测。文献[1]只利用了图像的边缘轮廓信息，适用于表面简单的零件分类，无法区分边缘轮廓相似、表面纹理多变的精密结构件。文献[2]提出了一种基于视觉的零件快速识别方法，从零件的轮廓数、各个轮廓的几何特征和形状特征三个方面进行图像的模板匹配，完成零件的识别。文献2中的识别方只能适用几何尺寸相差较大、形状差异较大的零件识别，无法实现几何和形状特征相似，表面纹理存在差异的精密结构件识别。

就现有的技术来说，结构件检测的种类较单一，结构件种类间的差异较大，检测效率不高，对表面纹理复杂多变的精密结构件无法进行有效的识别分类。

[1]卜伟；徐显兵；肖江剑；王少剑；潘江锋；彭成斌[J].计量与测试技术.2018,45(9):52-55.

[2]陈墩金；覃争鸣；杨旭.一种基于视觉的零件快速识别方法[P].中国专利:CN108171102A,2018-06-15.

发明内容

针对精密结构件加工后纹理复杂、相似度高，导致艰难区分的问题，本发明提供了一种基于视觉的精密结构件识别方法。

本发明的一种基于视觉的精密结构件识别方法，包括以下步骤：

步骤1：基于互信息熵的图像快速定位。使用滑动窗口对待检测的精密结构件图像进行扫描，采用互信息熵衡量模板精密结构件图像与待检测精密结构件图像的相似度以进行快速粗定位，进一步完成精密结构件图像中结构件目标的分割。

步骤2：基于等积环形的图像分割。对分割后的结构件图像采用等积环分割得到多个目标环。

步骤3：有效特征点的筛选及匹配系数MRR的计算。在目标环内提取像素梯度幅值和梯度方向，通过数理统计的方法从梯度幅值分布和梯度方向分布中筛选出结构件特征点完成特征提取。

步骤4：根据匹配系数对零件进行定位与识别。通过对模板图像特征和待检测图像特征的匹配实现精确定位及识别分类。

进一步的，有效特征点的筛选及匹配系数MRR的计算具体为：

3.1对Sobel算子改进。传统的Sobel算子描述水平、垂直方向的特征，对这4个方向的梯度加权求和，因此增加±45°以及±135°这4个方向的卷积核。

3.2等积环的梯度幅值与梯度方向计算。在各等积环中使用8方向Sobel算子计算梯度幅值PGA与梯度方向PGD。

3.3筛选有效特征点。将上述所得到的梯度幅值PGA与梯度方向PGD分别进行统计分组，使用预先设置的阈值筛选出符合条件的有效特征。

3.4特征匹配以及计算匹配系数MRR。将模板图像中的圆环的平均梯度幅值与待检测图像依次进行欧氏距离的比较，得到梯度幅值的特征匹配度；使用欧氏距离计算待检测图像窗口和目标图像的梯度幅值差值以及梯度方向差值；最终计算出匹配系数。

进一步的，等积环的梯度幅值与梯度方向计算具体为：

3.2.1计算各方向的梯度幅值；

3.2.2计算0°-90°以及45°-135°的综合梯度幅值；

3.2.3计算0°-90°以及45°-135°的综合梯度夹角；

3.2.4计算梯度幅值PGA^k；

3.2.5计算梯度方向PGD^k及角度矫正。

本发明与现有技术相比的有益技术效果为：

本发明基于等积环形分割能准确识别纹理复杂、相似度高的精密结构件，具有速度快，精度高等优点。

附图说明

图1为本发明方法的流程示意图。

图2为待检测图像与不同模板的定位结果。

图3为互信息熵点集分布。

图4为目标图像等积环分割结果。

图5为改进后的Sobel算子8方向卷积核。

图6为卷积核卷积结果对比。

图7为PGA和PGD的整体计算流程。

图8为梯度幅值分布图。

图9为图8(a)的梯度方向3维分布图。

图10为待检测精密结构件图像与正确模板的参数三维分布图。

图11为待检测精密结构件图像与错误模板的参数三维分布图。

具体实施方式

下面结合附图和具体实施方法对本发明做进一步详细说明。

本发明的一种基于视觉的精密结构件识别方法的流程图如图1所示。具体为1、基于互信息熵的图像快速定位

互信息是信息论理的一种有用信息量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是随机变量由已知另一个随机变量而减少的不确定性。设两个随机变量(X,Y)的联合分布为p(x,y)，边际分布分别为p(x)，p(y)，互信息I(X,Y)是联合分布p(x,y)与乘积分布p(x)p(y)的相对熵，则I(X,Y)的计算公式为：

由于互信息熵使用的是图像相关性的统计特征，因此具有旋转不变性。图2展示了待检测的结构件图像与不同模板的定位结果。

互信息熵法是根据图像本身的灰度值及形状信息来进行定位，从图2中可以看出，其定位准确度较高且对图像旋转变化的鲁棒性较好。但是，对于相似度极大的精密结构件，不能直接通过最大互信息熵I进行区分。因此，本发明使用互信息熵法进行快速定位，在定位后的所有互信息熵点集结果中，选择互信息熵最大的n₂个点作为待检测角点集。此外，根据待检测图像的大小选择不同数目的待检测角点n₂，其计算方式如下：

其中，cols和rows分别为图像的长和宽。图3的黑色区域展示了一个左上角点的点集分布。

2、基于等积环形的图像分割

通过互信息熵能快速的在含精密结构件的图像中定位结构件目标，但不能有效区分含复杂纹理结构的精密结构件。由于等积环形分割具有良好的旋转不变性、分区域描述图像等优点，因此本发明利用等积环形进行图像分割。将正方形滑动窗口分为n个等积环，最外侧环的半径等于正方形的内接圆半径。根据面积公式S_环＝π(R_外 ²-R_内 ²)及条件公式S₁+S₂+S₃+...+S_n＝S_总面积，推导出各圆环的最大半径分别为

其中R_n为滑动窗口的内接圆半径。将目标图像分为4个等积环，其分割结果见图4。

3、图像匹配系数MRR的推导

3.1Sobel算子的改进

Sobel梯度算子是在3×3的模板上对±0°、±90°这4个方向的梯度加权求和。然而，精密结构件的内部加工纹理较为复杂且相对密集，传统的Sobel算子仅能描述水平、垂直方向的特征，并不能很好地描述其斜方向的细节特征，因此增加±45°以及±135°这4个方向的卷积核。改进后的Sobel算子卷积核如图5所示，卷积效果对比如图6所示。从图6中可以看出，添加±45°以及±135°的卷积核后，对于斜方向的加工纹理表达能力更强，在原4方向卷积效果的基础上，能加有效描述精密结构件的纹理内容。

3.2等积环的梯度幅值与梯度方向计算

在各等积环中使用8方向Sobel算子计算梯度幅值(Pixel Gradient Amplitude，PGA)与梯度方向(Pixel Gradient Direction，PGD)。具体步骤如下：

3.2.1计算各方向的梯度幅值。设原图像f(x,y)为M，0°方向卷积结果为T₀，45°方向卷积结果为T₄₅，90°方向卷积结果为T₉₀，135°方向卷积结果为T₁₃₅，则卷积结果为：

3.2.2计算0°-90°以及45°-135°的综合梯度幅值：

3.2.3计算0°-90°以及45°-135°的综合梯度夹角：

3.2.4计算梯度幅值PGA^k。设k为圆环个数，α为L₁、L₂之间的夹角，根据余弦定理求得该像素点的8方向卷积综合梯度幅值L，进而求得每个圆环上像素点的梯度幅值

α＝θ₂-θ₁ (6)

L＝L₁ ²+L₂ ²-2L₁L₂ cos(180-a) (7)

3.2.5计算梯度方向PGD^k及角度矫正。为使本文算法具有旋转不变性，需要求得一个随变角度(该角度需随图像的旋转变化而变化，并且较为稳定)。本文选用各个圆环上的平均梯度方向作为随变角，将求得的每个梯度方向减去随变角，便使所得到的梯度方向具有了抗旋转变化的能力。设

为该圆环中所包含的像素点个数，计算f(x,y)平均梯度夹角β作为图像的主方向：

则梯度方向的计算公式为：

综上所述，PGA和PGD的整体计算流程如图7所示。

3.3筛选有效特征点

将上述所得到的梯度幅值PGA与梯度方向PGD分别进行统计分组，使用预先设置的阈值筛选出符合条件的有效特征。

①利用梯度幅值筛选每个圆环中的有效特征点。图8给出了一个精密结构件的梯度幅值3维分布图例。由于模板是由程序自动分割生成的，在模板的4个边界不可避免的会出现部分背景区域。因此，导致图8中4个边界区域的梯度方向发生畸变，在使用等积环分割的时候不能保证分割后的图像中不出现背景区域，为过滤可能出现的背景区域，需要使用阈值进行过滤。使用数理统计的方法，最终确定本次实验中有效特征点的梯度幅值区间为[400,600]。

②梯度幅值的旋转不变性处理。为使求得的梯度幅值具有旋转不变性，须先求得每个圆环的平均梯度幅值，则梯度幅值具有旋转不变性。设该图各个圆环中特征点的平均梯度幅值为PGA(k)＝{PGA¹,PGA²,PGA³,...,PGA^k}，其中

③利用梯度方向筛选每个圆环中的有效特征点。图9为图8(a)的梯度方向分布图，同样为过滤可能出现的背景区域，根据所得数据进行分析，将有效梯度方向的筛选阈值区间设为[-70,+70]。

3.4特征匹配

首先，将模板图像中的n₂个圆环的平均梯度幅值与待检测图像依次进行欧氏距离的比较，得到梯度幅值的特征匹配度。为比较待检测图像圆环与目标图像圆环的梯度方向的匹配度，将各个圆环特征点的梯度方向区间[-70,+70]平均分成10个子区间，再将各个子区间进行比较。因此，待检测图像各个圆环中特征点的平均梯度方向为

然后，使用欧氏距离计算待检测图像窗口M和目标图像M₁的梯度幅值差值PGA以及梯度方向差值PGD：

将上述所得到的PGA以及PGD带入公式PGAD＝PGA*PGD中，计算得出待检测角点集中的n₂个点的匹配系数(Matching Ratio，MR)。

因此，最终的匹配系数为MRR＝min{MR₁,MR₂,...,MR_n2}。

4、匹配系数MRR的适应性分析

算法MRR的参数梯度幅值PGA、梯度方向PGD的分析结果如图10和图11所示。对于PGA匹配，当滑动窗口越接近目标图像所在位置时其PGA指数越低，说明PGA匹配对于目标的位置信息具有越好的描述作用；对于PGD匹配，在滑动窗口的滑动过程中，PGD指数跳变严重，尤其在目标图像所在区域PGD指数变化最为明显，因此PGD对于滑动窗口区域的特征描述能力较强，但由于周边环境对其影响较大，导致其定位能力较弱。根据基于等积环形分割特征的图像识别算法得出的MRR指数，综合了梯度幅值与梯度方向各自的优点，在保留了PGA对于图像定位能力的同时，也加入了PGD对精密结构件细节特征的表达能力，因此可以作为一个对于图像定位以及识别的重要参数。

Claims (3)

1.一种基于视觉的精密结构件识别方法，其特征在于，包括以下步骤：

步骤1：基于互信息熵的图像快速定位：使用滑动窗口对待检测的精密结构件图像进行扫描，采用互信息熵衡量模板精密结构件图像与待检测精密结构件图像的相似度以进行快速粗定位，进一步完成精密结构件图像中结构件目标的分割；

步骤2：基于等积环形的图像分割：对分割后的结构件图像采用等积环分割得到多个目标环；

步骤3：有效特征点的筛选及匹配系数MRR的计算：在目标环内提取像素梯度幅值和梯度方向，通过数理统计的方法从梯度幅值分布和梯度方向分布中筛选出结构件特征点完成特征提取；

步骤4：根据匹配系数对零件进行定位与识别：通过对模板图像特征和待检测图像特征的匹配实现精确定位及识别分类。

2.根据权利要求1所述的一种基于视觉的精密结构件识别方法，其特征在于，所述步骤3中有效特征点的筛选及匹配系数MRR的计算具体为：

3.1对Sobel算子改进：传统的Sobel算子描述水平、垂直方向的特征，对这4个方向的梯度加权求和，因此增加±45°以及±135°这4个方向的卷积核；

3.2等积环的梯度幅值与梯度方向计算：在各等积环中使用8方向Sobel算子计算梯度幅值PGA与梯度方向PGD；

3.3筛选有效特征点：将上述所得到的梯度幅值PGA与梯度方向PGD分别进行统计分组，使用预先设置的阈值筛选出符合条件的有效特征；

3.4特征匹配以及计算匹配系数MRR：将模板图像中的圆环的平均梯度幅值与待检测图像依次进行欧氏距离的比较，得到梯度幅值的特征匹配度；使用欧氏距离计算待检测图像窗口和目标图像的梯度幅值差值以及梯度方向差值；最终计算出匹配系数。

3.根据权利要求2所述的一种基于视觉的精密结构件识别方法，其特征在于，所述等积环的梯度幅值与梯度方向计算具体为：

3.2.1计算各方向的梯度幅值；

3.2.2计算0°-90°以及45°-135°的综合梯度幅值；

3.2.3计算0°-90°以及45°-135°的综合梯度夹角；

3.2.4计算梯度幅值PGA^k；

3.2.5计算梯度方向PGD^k及角度矫正。

Images