CN108022232B - 一种飞行器表面铆钉检测方法 - Google Patents

Abstract

本发明涉及一种飞行器表面铆钉检测方法，包括以下步骤：用工业相机拍摄飞行器表面铆钉图像；提取图像的光滑边缘；提取候选椭圆边缘；对候选椭圆边缘进行组合成椭圆边缘；从组合的椭圆边缘中提取实际椭圆；将椭圆制作成模板；对光滑边缘图像进行有向距离变换，获得有向距离图；将椭圆模板在有向距离中进行模板匹配；根据模板匹配结果判断是否检测到铆钉。本发明可实现铆钉的准确检测与识别，鲁棒性强，精度高，可用于飞行器表面铆钉缺陷检测以及其它圆形目标的检测。

Description

一种飞行器表面铆钉检测方法

技术领域

本发明属于图像识别及检测领域，具体说是一种飞行器表面铆钉检测方法。

背景技术

飞行器的表面质量直接影响到飞行器的性能，在出厂之前，需要对表面进行严格的检测。现在的飞行器表面通常由蒙皮构成，主要是用铆钉将蒙皮与桁架连接在一起，因此打铆质量很重要。为了检测打铆质量，首先需要对铆钉进行检测和识别。

在铆钉图像中，铆钉经常会与被铆接件喷涂成同样的颜色，这就导致图像的对比度非常低；当铆钉铆接的质量非常好的时候，铆钉边缘近乎不可见；当被铆接件表面非常光滑的时候，可能会造成非常强烈的反光，这些强光会将铆钉信息淹没在其中；而当被铆接件表面特别粗糙，有很多划痕的时候，铆钉边缘亦会被这些划痕所影响，导致提取出的边缘信息断断续续。以上这些因素，导致从图像中鲁棒地提取铆钉区域变得更加困难。

由于实际中铆钉边缘是规则的圆形，而经过摄影变换映射到图像中时，圆形将会映射为椭圆，因此，从图像中提取铆钉区域就变为图像中椭圆的提取。传统的椭圆提取算法主要是霍夫变换方法，该方法效率非常低下，内存消耗巨大，并且计算非常缓慢，不利于工程应用。近年来兴起的边缘跟踪的方法用于提取椭圆，取得了较好的效果，并且计算复杂度非常低，可以实现实时提取，但是当图像质量比较低的时候，例如椭圆边缘断断续续，提取效果较差。此外，现有的方法只进行椭圆提取，认为提取到的椭圆就是铆钉，导致了一些虚警。由于上述原因，工业上迫切需要一种鲁棒地从图像中提取出铆钉的方法，本发明正是在这样的背景下提出新的铆钉检测方法。

发明内容

本发明目的是提供一种自动的飞行器表面铆钉检测方法，能够自动识别和定位铆钉，可为后续的打铆质量评价提供铆钉的位置信息，还可为铆钉的光学打标提供定位信息。

本发明为实现上述目的所采用的技术方案是：一种飞行器表面铆钉检测方法，包括以下步骤：

步骤1：用工业相机拍摄飞行器表面铆钉图像E0；

步骤2：提取铆钉图像E0的光滑边缘E1；

步骤3：提取候选椭圆边缘E2；

步骤4：对候选椭圆边缘E2进行组合获取椭圆边缘E3；

步骤5：从组合的椭圆边缘E3中提取实际椭圆E4；

步骤6：将实际椭圆E4制作成椭圆模板T；

步骤7：对光滑边缘E1进行有向距离变换，获得有向距离图；

步骤8：将椭圆模板T在有向距离图中进行模板匹配，根据匹配结果确定铆

钉是否存在。

所述提取铆钉图像的光滑边缘E1，包括：

采用Canny算子对铆钉图像进行处理获取边缘，删除边缘中曲率突变点与拐点，删除边缘长度小于5个像素的边缘点，得到光滑边缘E1。

所述提取候选椭圆边缘E2，包括：

对光滑边缘图像E1中的边缘计算其外包矩形，通过矩形的长宽比，删除长宽比大于预设阈值的边缘；

对余下的每条边缘逐一进行最小二乘椭圆拟合，设a表示拟合后的椭圆的长半轴，Fit_err表示椭圆的拟合误差，当a与Fit_err不满足式(1)与(2)式时，则删除该边缘得到候选椭圆边缘E2

r_min/2≤a≤r_max (1)

Fit_err<Th_errh (2)

其中，r_min和r_max表示提前预估的需要提取的椭圆的长半轴的长度的上下限值；Th_errh表示最大允许的拟合误差，取值为1.5。

所述对候选椭圆边缘E2进行组合获取椭圆边缘E3，包括：

对候选椭圆边缘E2根据椭圆拟合误差Fit_err，将候选椭圆边缘E2分成两类，将Fit_err<Th_errf的候选椭圆边缘记为种子边缘e_i，其余为非种子边缘；其中Th_errf＝1。

对种子边缘e_i，定义任意两条边缘e₁、e₂之间的距离为两条边缘的外接矩形形心之间的欧拉距离r_max；以种子边缘e_i的外接矩形形心为圆心，以r_max为半径确定搜索区域，在搜索区域内合并非种子边缘；

直线l₁和l₂表示通过e₁和e₂首尾的线段，p′₁与p′₂分别是边缘e₁和e₂的中点，l₃是过p′₁与p′₂的线段，p₁是l₃与l₁的交点，p₂是l₃与l₂的交点，p₁与p₂可以通过求解如下两个方程组得到：

当有下式

p′₁p′₂＝p₁p′₁+p₁p₂+p₂p′₂ (5)

满足时，认为两条边缘e₁和e₂配对成功，最后将全部配对成功的边缘组合成椭圆边缘E3；其中，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃为方程式的系数。

所述从组合的椭圆边缘E3中提取实际椭圆E4，包括：

对于椭圆边缘E3进行最小二乘椭圆拟合；

如果拟合误差小于阈值Th_errh，其中，Th_errh＝1.5，则认为该组边缘位于同一个实际椭圆E4上，反之，则认为该组边缘分别属于不同的椭圆。

所述将实际椭圆E4制作成椭圆模板T：

将实际椭圆E4方程离散成像素点，由于已知实际椭圆E4的圆心(x_c,y_c)、长半轴a、短半轴b以及倾角θ，则椭圆上的任意一点可以表示为

其中，0≤t_i≤2pi，1≤i≤N_b，

表示取下界；

计算椭圆上每个离散点的法线角度φ_i，法线角度定义为椭圆上每个点的法线与水平轴呈的角度，φ_i可以表示为

最终，得到N_b个带有法线角度的离散点，这些离散点集即为椭圆模板T。

所述对光滑边缘E1进行有向距离变换，获得有向距离图，包括：

计算Chamfer距离：

设U＝{u_i}和V＝{v_j}分别为椭圆模板T点集和边缘图像E1，U和V的Chamfer距离定义为u_i∈U与它在V中最近点距离之和的平均值，即

其中，n＝|U|，|U|表示U的元素个数，i＝1,2,…|U|，j＝1,2,…|V|；

计算有向Chamfer距离：

设边缘图像E1上每个点的梯度方向为φ(x)，模板匹配的有向Chamfer距离可以表示为

其中，n＝|U|，|U|表示U的元素个数，i＝1,2,…|U|，j＝1,2,…|V|；λ为位置与方向的权值因子；φ(u_i)表示椭圆模板T中像素点的法线角度，可由公式(7)计算得到；φ(v_j)表示边缘图像E1中的点的法线角度，可根据该像素点的梯度计算得出。

所述将椭圆模板T在有向距离中进行模板匹配，根据匹配结果确定铆钉是否存在，包括：

根据公式(9)，计算光滑边缘图E1上每个像素点所在位置的有向Chamfer距离d_DCM(U,V)；如果d_DCM(U,V)>Th_dcm，则认为此处存在铆钉，反之，则不存在；其中，Th_dcm是一个预设值。

本发明具有以下有益效果及优点：

1.本发明提出的方法为飞行器表面铆钉检测提供了一种新的技术手段，有利于促进我国航空工业产品表面制造智能化、自动化水平的提升。

2.该方法也可用于工业中圆形标志、销孔、螺纹孔等特征的精确检测，具有较好的普适性和推广价值。

3.该方法可以适应对比度比较低的图像，可以在微弱的边缘中准确找到铆钉，鲁棒性较好。

附图说明

图1为本发明方法流程图；

图2(a)为本发明方法中的原始图像；图2(b)为本发明方法中的采用Canny算子提出的图像边缘；图2(c)为本发明方法中的对边缘进行筛选得到的光滑边缘图；

图3为本发明方法中候选椭圆的边缘图；

图4为本发明方法中搜索区域图；

图5(a)为本发明方法中两条曲线凹凸性符合配对要求的边缘图；图5(b)为本发明方法中的两条曲线凹凸性不符合配对要求的边缘图；

图6为本发明方法中铆钉检测结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明一种飞行器表面铆钉检测方法包含如下步骤：

使用工业相机采集飞行器表面铆钉图像；

提取图像的光滑边缘；

提取候选椭圆边缘；

对候选椭圆边缘进行组合；

从组合的椭圆边缘中提取实际椭圆；

将椭圆制作成模板；

对边缘图像进行有向距离变换，获得有向距离图；

将椭圆模板在有向距离图中进行模板匹配；

根据模板匹配结果判断是否存在铆钉，并给出铆钉的位置。

以下就图1中的几个关键步骤作详细说明：

1.采集图像

本发明方法对工业相机的分辨率不做严格要求，目前市场上150万像素以上的相机，完全可以满足要求。拍摄时，物距不能太大，光轴与飞行器表面法向的夹角不易过大，否则铆钉图像中椭圆太小太扁，影响检测效果。拍摄完成后，自动将照片导入计算机。

2.提取光滑边缘

对如图2(a)所示的原始图像采用Canny算子提出图像的边缘，得到边缘图像，如图2(b)所示。为了去除杂乱的边缘，对边缘进行筛选，删除边缘中曲率突变点与拐点，删除长度小于5个像素的边缘。得到的光滑边缘如图2(c)所示。

3.提取候选椭圆

提取光滑边缘后，计算边缘的外包矩形，通过矩形的长宽比，去除直线型的边缘。设某个边缘的外包矩形长度为L，宽为W，如果边缘参数满足下列约束

L/W<Th_w

则保留该边缘，反之，删除该边缘，其中Th_w为预设阈值，Th_w取2.5。

对剩余的平滑边缘进行椭圆拟合。椭圆的一般方程可以表示为

Ax²+Bxy+Cy²+dx+Ey+F＝0

其中A、B、C、D、E、F为待求的椭圆参数。则椭圆的圆心(x_c,y_c)、长半轴a、短半轴b以及倾角可以表示为

设边缘的点集为(x_i,y_i),i＝1,2,3,…,n，通过求解目标函数

的最小值来确定椭圆的系数，根据极值原理，欲使f(A,B,C,D,E,F)值为最小，必有

由此可得一个线性方程组，应用全主元高斯消去法，可以求得A、B、C、D、E、F。

设Fit_err＝f(A,B,C,D,E,F)表示椭圆的拟合误差，当a与Fit_err不满足式以下两式时，则删除该边缘得到候选椭圆边缘。

r_min/2≤a≤r_max

Fit_err<Th_errh

其中，r_min和r_max表示提前预估的需要提取的椭圆的长半轴的长度，Th_errh表示最大允许的拟合误差，取值为1.5。图3给出了提取的候选椭圆边缘。

4.候选椭圆进行组合

按拟合误差Fit_err，将候选椭圆分成两类，称椭圆拟合误差小于Th_errf的边缘为种子边缘，其余为非种子边缘，其中Th_errf＝1；

设e_i为一种子边缘，只有与e_i相距小于一定距离的边缘，才有可能与e_i属于同一椭圆；定义两条边缘之间的距离为两条边缘的外接矩形形心之间的欧拉距离；以种子边缘e_i的外接矩形形心为圆心，以r_max为半径，确定搜索区域，只有在搜索区域内的非种子边缘，才有可能与种子边缘进行合并。图4给出了边缘的搜索区域。

找出配对边缘：为了确定两条边缘是否为相对的边缘，让l₁和l₂表示通过e₁和e₂首尾的线段，如图5(a)与图5(b)所示，是两种不同方向的边缘情况，图5(a)为本发明方法中两条曲线凹凸性符合配对要求的边缘图；图5(b)为本发明方法中的两条曲线凹凸性不符合配对要求的边缘图，p′₁与p′₂是e₁和e₂两条边缘的中点，l₃是过p′₁与p′₂的线段，p₁与p₂是l₃与l₁和l₂的交点，p₁与p₂可以通过求解如下两个方程组得到：

当有下式

p₁′p₂′＝p₁p₁′+p₁p₂+p₂p₂′

满足时，认为两条边缘配对成功。最后将配对成功的边缘组合成椭圆边缘。

5.提取实际椭圆

对于组合后的边缘重新进行最小二乘椭圆拟合；

如果拟合误差小于阈值Th_errh，其中，Th_errh＝1.5，则认为该组边缘位于同一椭圆上，认为这是一个实际椭圆，反之，则认为该组边缘分别属于不同的椭圆。

6.椭圆模板制作

将椭圆方程离散成像素点。由于已知椭圆的圆心(x_c,y_c)、长半轴a、短半轴b以及倾角θ，则椭圆上的任意一点可以表示为

x_i＝a cos(t_i)cos(θ)-b sin(θ)sin(t_i)+x_c

y_i＝a cos(t_i)sin(θ)-b cos(θ)sin(t_i)+y_c

其中，0≤t_i≤2pi，1≤i≤N_b，

表示取下界。

计算椭圆上每个离散点的法线角度φ_i。法线角度定义为椭圆上每个点的法线与水平轴呈的角度，φ_i可以表示为

最终，得到N_b个带有法线角度离散点，即为椭圆模板，代替椭圆进行后续的模板匹配。

7.对边缘图像进行有向距离变换

计算Chamfer距离。设U＝{u_i}和V＝{v_j}分别为椭圆模板点集和边缘图像，U和V的Chamfer距离定义为u_i∈U与它在V中最近点距离之和的平均值，即

其中n＝|U|。i＝1,2,…|U|，j＝1,2,…|V|。

计算有向Chamfer距离。设每个点的梯度方向为φ(x)，模板匹配的有向Chamfer距离得分可以表示为

其中，i＝1,2,…|U|，j＝1,2,…|V|。λ为位置与方向的权值因子。φ(u_i)表示椭圆模板中像素点的法线角度，可由公式

计算。φ(v_j)表示边缘图像中点的法线角度，可根据由边缘像素点的梯度计算得出。

8.判断是否检测到铆钉

计算模板椭圆与边缘图像E1上每个兴趣区域的有向距离d_DCM(U,V)；如果d_DCM(U,V)>Th_dcm，则认为此处存在铆钉，反之，则不存在。Th_dcm是一个预设值。对所有的椭圆都进行匹配得分计算和判断，最终通过的椭圆即为铆钉对应的区域。图6给出了两个铆钉检测结果实例。

综上所述，本发明方法提供了一种新的飞行器铆钉检测手段，具有鲁棒性好，速度快等特点，并且在工业中具有广泛的拓展应用前景。

Claims (8)

1.一种飞行器表面铆钉检测方法，其特征在于，包括以下步骤：

步骤1：用工业相机拍摄飞行器表面铆钉图像E0；

步骤2：提取铆钉图像E0的光滑边缘E1；

步骤3：计算光滑边缘图像E1的外包矩形，删除矩形长宽比大于预设阈值的边缘；对余下的每条边缘逐一进行最小二乘椭圆拟合，删除拟合后的椭圆的长半轴不在取值范围且椭圆的拟合误差不满足预设阈值的边缘，得到候选椭圆边缘E2；

步骤4：对候选椭圆边缘E2进行组合获取椭圆边缘E3；

步骤5：从组合的椭圆边缘E3中提取实际椭圆E4；

步骤6：将实际椭圆E4制作成椭圆模板T；

步骤7：对光滑边缘E1进行有向距离变换，获得有向距离图；

步骤8：将椭圆模板T在有向距离图中进行模板匹配，根据匹配结果确定铆钉是否存在。

2.根据权利要求1所述一种飞行器表面铆钉检测方法，其特征在于，所述提取铆钉图像E0的光滑边缘E1，包括：

采用Canny算子对铆钉图像进行处理获取边缘，删除边缘中曲率突变点与拐点，删除边缘长度小于5个像素的边缘点，得到光滑边缘E1。

3.根据权利要求1所述一种飞行器表面铆钉检测方法，其特征在于，所述步骤3中，删除拟合后的椭圆的长半轴不在取值范围且椭圆的拟合误差不满足预设阈值的边缘，包括：

对余下的每条边缘逐一进行最小二乘椭圆拟合，设a表示拟合后的椭圆的长半轴，Fit_err表示椭圆的拟合误差，当a与Fit_err不满足式(1)与(2)式时，则删除该边缘得到候选椭圆边缘E2

r_min/2≤a≤r_max (1)

Fit_err<Th_errh (2)

其中，r_min和r_max分别表示提前预估的需要提取的椭圆的长半轴的长度的下限值和上限值；Th_errh表示最大的拟合误差，取值为1.5。

4.根据权利要求1所述一种飞行器表面铆钉检测方法，其特征在于，所述对候选椭圆边缘E2进行组合获取椭圆边缘E3，包括：

对候选椭圆边缘E2根据椭圆拟合误差Fit_err，将候选椭圆边缘E2分成两类，将Fit_err<Th_errf的候选椭圆边缘记为种子边缘e_i，其余为非种子边缘；其中Th_errf＝1；

对种子边缘e_i，定义任意两条边缘e₁、e₂之间的距离为两条边缘的外接矩形形心之间的欧拉距离r_max；以种子边缘e_i的外接矩形形心为圆心，以r_max为半径确定搜索区域，在搜索区域内合并非种子边缘；

直线l₁和l₂表示通过e₁和e₂首尾的线段，p′₁与p′₂分别是边缘e₁和e₂的中点，l₃是过p′₁与p′₂的线段，p₁是l₃与l₁的交点，p₂是l₃与l₂的交点，p₁与p₂分别通过求解如下方程组(3)、(4)得到：

当有下式

p′₁p′₂＝p₁p′₂+p₁p₂+p₂p′₂ (5)

满足时，认为两条边缘e₁和e₂配对成功，最后将全部配对成功的边缘组合成椭圆边缘E3；其中，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃为方程式的系数。

5.根据权利要求1所述一种飞行器表面铆钉检测方法，其特征在于，所述从组合的椭圆边缘E3中提取实际椭圆E4，包括：

对于椭圆边缘E3进行最小二乘椭圆拟合；

如果拟合误差小于阈值Th_errh，其中，Th_errh＝1.5，则认为该组边缘位于同一个实际椭圆E4上，反之，则认为该组边缘分别属于不同的椭圆。

6.根据权利要求1所述一种飞行器表面铆钉检测方法，其特征在于，所述将实际椭圆E4制作成椭圆模板T，包括：

将实际椭圆E4方程离散成像素点，由于已知实际椭圆E4的圆心(x_c，y_c)、长半轴a、短半轴b以及倾角θ，则椭圆上的任意一点表示为

其中，0≤t_i≤2pi，1≤i≤N_b，

表示取下界；

计算椭圆上每个离散点的法线角度φ_i，法线角度定义为椭圆上每个点的法线与水平轴呈的角度，φ_i表示为

最终，得到N_b个带有法线角度的离散点，这些离散点集即为椭圆模板T。

7.根据权利要求6所述一种飞行器表面铆钉检测方法，其特征在于，所述对光滑边缘E1进行有向距离变换，获得有向距离图，包括：

计算Chamfer距离：

设U＝{u_i}和V＝{v_j}分别为椭圆模板T点集和边缘图像E1，U和V的Chamfer距离定义为u_i∈U与它在V中最近点距离之和的平均值，即

其中，n＝|U|，|U|表示U的元素个数，i＝1，2，…|U|，j＝1，2，…|V|；

计算有向Chamfer距离：

设边缘图像E1上每个点的梯度方向为φ(x)，模板匹配的有向Chamfer距离表示为

其中，n＝|U|，|U|表示U的元素个数，i＝1，2，…|U|，j＝1，2，…|V|；λ为位置与方向的权值因子；φ(u_i)表示椭圆模板T中像素点的法线角度，由公式(7)计算得到；φ(v_j)表示边缘图像E1中的点的法线角度，根据该像素点的梯度计算得出。

8.根据权利要求7所述一种飞行器表面铆钉检测方法，其特征在于，所述将椭圆模板T在有向距离中进行模板匹配，根据匹配结果确定铆钉是否存在，包括：

根据公式(9)，计算光滑边缘图E1上每个像素点所在位置的有向Chamfer距离d_DCM(U，V)；如果d_DCM(U，V)>Th_dcm，则认为此处存在铆钉，反之，则不存在；其中，Th_dcm是一个预设值。

Images