CN109472788A - 一种飞机铆钉表面的伤痕检测方法 - Google Patents

Abstract

本发明提供一种飞机铆钉表面的伤痕检测方法，该方法包括：通过采用灰度化和直方图均衡化、中值滤波、图像增强、图像二值化以及二值图像滤波等方法对采集到的伤痕图像作预处理操作，再经过数学形态学处理对伤痕进行识别，最后利用像素积分投影和最小外接矩形长宽比对伤痕进行定位并得到其详细的参数信息。本发明方法能够较好的识别到纵向伤痕和横向伤痕，并显示较为详细的伤痕参数信息，为后续对伤痕的研究和制定淘汰带伤痕铆钉的标准都有很大帮助。

Description

一种飞机铆钉表面的伤痕检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种飞机铆钉表面的伤痕检测方法。

背景技术

在飞机的飞行过程中，飞机铆钉表面的伤痕是影响飞机安全性的问题之一。随着社会和科学技术的发展，对铆钉的制造质量要求越来越高，在飞机运行过程中铆钉伤痕的检测显得更加重要。传统的利用声光学方法进行检测，步骤复杂，工作量大，不符合现在工作中省时高效的要求。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供一种能够提高工作效率的飞机铆钉表面的伤痕检测方法。

一种飞机铆钉表面的伤痕检测方法，包括以下步骤：

步骤1：对采集得到的飞机铆钉图像进行预处理得到伤痕目标突出的二值图像；

步骤2：对所述伤痕目标突出的二值图像采用数学形态学处理进行伤痕识别；

步骤3：对识别到的伤痕进行定位并显示其特征信息。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，所述预处理包括：对采集得到的飞机铆钉图像依次进行灰度化和直方图均衡化处理、中值滤波处理、图像增强处理、图像二值化处理、二值图像滤波处理。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，所述灰度化和直方图均衡化处理包括：

所述灰度化包括：选取像素H(i，j)的R、G、B分量的亮度加权平均值作为此像素的灰度值，计算公式为：

H_g(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j) (1)。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，所述图像二值化处理包括以下步骤：

步骤(1)：统计伤痕图像里的最小灰度值T_min，最大灰度值T_max，求取两值的平均值作为初始阈值：

步骤(2)：对图像进行分割，利用求出的初始阈值对图像进行分割，得到两个像素集合，G₁＝{f(x，y)≥T}，G₂＝{f(x，y)＜T}；

步骤(3)：对集合G₁，G₂求其灰度平均值μ₁与μ₂：

步骤(4)：根据μ₁与μ₂计算出新的阈值：重复步骤(2)、(3)进行迭代，直到计算出的阈值T收敛于某一范围为止。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，所述数学形态学是构建一个具有一定形态的结构元素去匹配和提取图像中对应形状的位置，从而达到对图像进行分析和识别的目的。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，步骤3中所述对识别到的伤痕进行定位包括：通过水平像素积分投影和垂直像素积分投影来绘制其投影曲线，从而定位伤痕的具体区域和参数信息，具体包括以下步骤：

(1)选取图像中心点

对预处理后的伤痕图像，将其设为I(i，j)，m、n分别表示图像的总行数与总列数。在图像中求取点C(c1，c2)作为中心点，其中

(2)对伤痕图像作像素积分投影

I(i，j)为伤痕图像，g(i，j)为对应的像素点，n表示图像的列数，则水平像素积分投影为：

m为图像的行数，则垂直像素积分投影为：

分别判断伤痕的上下边界和左右边界，通过上下边界和左右边界从而定位伤痕的具体区域和参数信息；

所述水平像素积分投影包括：

对图像I(i，j)利用公式(5)作水平像素积分投影，从c1点开始，向上下两个方向进行扫描。利用伤痕的行间隙对水平像素积分投影得到的像素积分值进行判定，确定伤痕的上下边界；

(H(i-1)＞h)∩(H(i-2)＞h)∩…∩(H(i-r)＞h)∩(H(i)＜h)＝1 (7)

(H(i+1)＜h)∩(H(i+2)＜h)∩…∩(H(i+r)＜h)∩(H(i)＞h)＝1 (8)

式中h为行切分的阈值，理想情况下为0，本发明选取其为1，r是为区分行间隙而设定的阈值，本发明固定取1

同理，利用公式(6)作垂直像素积投影，从c2点开始，从左右两个方向进行扫描，得到左右边界，其表达式如下：

(D(j-1)＞d)∩(D(j-2)＞d)∩…∩(D(j-s)＞d)∩(D(j)＜d)＝1 (9)

(D(j+1)＜d)∩(D(j+2)＜d)∩…∩(D(j+s)＜d)∩(D(j)＞d)＝1 (10)

式中d为列切分的阈值，为1，s用于区分列间隙，取值25。

进一步地，如上所述的飞机铆钉表面的伤痕检测方法，步骤3中所述对识别到的伤痕进行特征信息显示包括：采用最小外接矩形长宽比的方式进行伤痕判断，具体为：选用矩形长宽之比的比率R作为判断伤痕方向的标准，当比率R大于1时为纵向伤痕，否则为横向伤痕，其公式表示如下：

有益效果：

本发明提供的飞机铆钉表面的伤痕检测方法，针对采集到的图像通过伤痕检测算法判断出铆钉表面是否有伤痕，为纵向伤痕还是横向伤痕，并获取了伤痕详细的参数信息，有效地克服了人工检测带来的误差和低效。

附图说明

图1为本发明飞机铆钉表面的伤痕检测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明飞机铆钉表面的伤痕检测方法流程图，如图1所示，包括以下步骤：

步骤1：对采集得到的飞机铆钉图像进行预处理得到伤痕目标突出的二值图像；

步骤2：对所述伤痕目标突出的二值图像采用数学形态学处理进行伤痕识别；

步骤3：对识别到的伤痕进行定位并显示其特征信息。

所述预处理包括：对采集得到的飞机铆钉图像依次进行灰度化和直方图均衡化处理、中值滤波处理、图像增强处理、图像二值化处理、二值图像滤波处理。

具体地，为了让铆钉表面伤痕显示清楚，首先需要对拍摄出来的图像进行处理，去除影响图像质量的因素，例如光照不均匀、噪声等的干扰。在通过机器视觉算法对图像进行在处理，以突出图像中不清晰的伤痕，也可以确定这些伤痕在图像中的位置，并显示其特征信息，供工作人员作为工作参考。

为了使图像得到最有效的处理结果，需要对图像进行多步骤的处理。每个步骤层层递进，最终实现检测目的，图像处理的步骤大致分为三步。

首先对图像进行预处理：1.将图像灰度化，得到其灰度图像，再对灰度图像进行直方图转换，得到其直方图均衡化图像。2.在图像采集过程中，由于成像设备传输介质等的干扰会产生噪声，应对图像进行滤波。3.图像在采集过程中，由于环境的因素，采集到的图像容易受到光照、机械振动等因素的影响，因此需要对此类图像进行对比度增强处理来提高对比度。4.为了使后期检测目标更容易，在进行伤痕识别之前应对图像进行二值化处理。5.二值图像滤波。伤痕图像经过预处理之后可以得到伤痕目标突出的二值图像。

然后可以根据形态学区域特征来获取伤痕目标并进行检测识别。本发明主要用于检测“线状”伤痕，因此根据伤痕的“线状”特点，采用二值化连通区域长短轴的比的特征进行伤痕识别。

最后对伤痕进行定位并显示其特征信息：1.为了能精确地获得伤痕信息，该实验采用像素积分投影对伤痕进行水平、垂直方向上的积分投影，并绘制投影曲线，进而定位伤痕的具体区域和参数信息。2.为了能够精确判断伤痕方向，得到伤痕特征，本发明选用外接矩形长宽比的方法进行判断。

下面针对图1来具体阐述识别方法

灰度化和直方图均衡化

根据铆钉表面伤痕检测要求，一般要去除不必要的颜色信息，将采集得到的RGB图像转换成灰度图像。一般有以下几种方法可以使RGB图像灰度化：1.分量值法。2.最大值法。3.平均值法。4.加权平均值法。本发明选用加权平均值法，选取像素H(i，j)的R、G、B分量的亮度加权平均值作为此像素的灰度值，权值的选取通常是根据分量的重要性而定，通过3个分量加权平均值的计算得到其灰度值。一般情况下，人眼在视觉主观上对绿色分量敏感度最高，其次是红色分量，最后是蓝色分量，因此，对RGB进行加权平均值法计算其灰度值可以得到较为合理的灰度值，计算公式如下：

H_g(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j) (1)

直方图均衡化主要是用于增强灰度值动态范围偏小的图像的对比度。此方法的原理是将图像的灰度统计直方图转换成均匀分布的形式，这样就增加了灰度值的变化范围，达到增强图像对比度的效果。假设图像H(i，j)的像素总和为N，y_m为第m个灰度级对应的灰度，x_m表示灰度为y_m的像素的个数，其表达式为：

图像滤波

图像在采集过程中，由于成像设备传输介质等的干扰会产生噪声。因此，采集到的图像可能存在边缘模糊，黑白杂点等问题。对后期的伤痕检测结果有影响，所以在图像预处理过程中，应该对图像进行第二步操作-滤波。综合考虑，本发明采用中值滤波。中值滤波是常用的非线性滤波方法，其主要思想是对像素邻域向量化取中值进行滤波，具有运算简单，高效，能有效去除脉冲噪声的特点，在去噪的同时它也可以有效地保护图像的边缘细节信息。

图像增强

在图像采集过程中，由于没有特定的环境，采集到的图片容易受到光照，机械振动等因素的影响，致使图像可能存在整体偏暗或者偏亮的问题，从而产生对比度较低的图像。这些图像的特点就是灰度分布范围小，集中在少量的灰度区间内，这种情况为后面对伤痕的检测和识别带来不好的影响，因此需要对此类图像进行对比度增强处理来提高对比度。

图像二值化

灰度图像二值化是指通过约定一个灰度阈值来分割目标与背景，在阈值之内的像素属于目标即记为1，其他则属于背景即记为0。图像二值化是为了使后期检测目标更容易。图像二值化的主要步骤是寻找合适的阈值，阈值计算方法大致可以分为两种：全局阈值和基本自适应阈值。由于伤痕识别的场所比较开放，拍摄条件，背景杂物等因素的影响，使图像容易出现退化或噪声干扰。结合以上特点，本发明选用自定义与迭代法优化相结合的方法来计算阈值。

首先计算初始阈值，统计伤痕图像里的最小灰度值T_min，最大灰度值T_max，求取两值的平均值作为初始阈值：

然后对图像进行分割，利用求出的初始阈值对图像进行分割，得到两个像素集合，G₁＝{f(x，y)≥T}，G₂＝{f(x，y)＜T}。

再对集合G₁，G₂求其灰度平均值μ₁与μ₂：

最后进行迭代，根据μ₁与μ₂计算出新的阈值：重复后面三步，直到计算出的阈值T收敛于某一范围为止。

二值图像滤波

由于经过二值化之后的图像仍然存在噪声杂点的干扰，这对后期的检测会带来影响。因此需要对二值图像再次进行滤波。这里的二值图像滤波主要是连通区域的面积滤波，通过去除小面积的杂点噪声来进行滤波去噪。

伤痕识别

在伤痕识别阶段可以通过形态学区域特征进行识别，本发明采用数学形态学的方法进行识别。数学形态学的基本思想是构建一个具有一定形态的结构元素去匹配和提取图像中对应形状的位置，从而达到对图像进行分析和识别的目的。数学形态学主要用于图像去噪、边缘检测、图像分割、形状识别、纹理分析、图像恢复与重建、图像压缩等领域。常用的数学形态学运算为：膨胀、腐蚀、开启和闭合。

假设f(x，y)为输入图像，g(i，j)为结构元素，和Θ分别表示数学形态学中的膨胀运算和腐蚀运算，因此数学表达式如下：

膨胀运算：

腐蚀运算：fΘg＝min_(i，j)[f(x+i，y+j)-g(i，j)]

开启运算：

闭合运算：

伤痕判断与定位

为了能够精确地得到伤痕的区域信息，本发明对伤痕进行行切分和列切分。所谓基于像素积分投影的行切分法，就是指对伤痕的二值图像做水平像素积分投影，再利用行间隙将伤痕与背景图像切分出来。列切分法，就是将做过行切分的伤痕图像做垂直像素积分投影。

本发明采用的像素积分投影大致分为以下几个步骤：

(1)选取图像中心点

对预处理后的伤痕图像，将其设为I(i，j)，m、n分别表示图像的总行数与总列数。在图像中求取点C(c1，c2)作为中心点，其中

(2)对伤痕图像作像素积分投影

I(i，j)为伤痕图像，g(i，j)为对应的像素点，n表示图像的列数，则水平像素积分投影为：

m为图像的行数，则垂直像素积分投影为：

(3)伤痕边界的判定

对图像I(i，j)利用公式(5)作水平像素积分投影，从c1点开始，向上下两个方向进行扫描。利用伤痕的行间隙对水平像素积分投影得到的像素积分值进行判定，确定伤痕的上下边界。

(H(i-1)＞h)∩(H(i-2)＞h)∩…∩(H(i-r)＞h)∩(H(i)＜h)＝1 (7)

(H(i+1)＜h)∩(H(i+2)＜h)∩…∩(H(i+r)＜h)∩(H(i)＞h)＝1 (8)

式中h为行切分的阈值，理想情况下为0，本发明选取其为1，r是为区分行间隙而设定的阈值，本发明固定取1。

同理，利用公式(6)作垂直像素积投影，从c2点开始，从左右两个方向进行扫描，得到左右边界，其表达式如下：

(D(j-1)＞d)∩(D(j-2)＞d)∩…∩(D(j-s)＞d)∩(D(j)＜d)＝1 (9)

(D(j+1)＜d)∩(D(j+2)＜d)∩…∩(D(j+s)＜d)∩(D(j)＞d)＝1 (10)

式中d为列切分的阈值，本发明选取其为1，s是为了区分列间隙而设定的，本发明固定取25。

通过水平像素积分投影和垂直像素积分投影，可以绘制其投影曲线，从而定位伤痕的具体区域和参数信息。图像的像素积分投影可以将图像的水平边界和垂直边界提取出来。

本发明主要对伤痕中的纵向或者横向伤痕进行识别。为了能够更好地判断伤痕的方向得到更多伤痕特征信息，本发明采用最简单快捷的最小外接矩形长宽比的方式进行伤痕判断。当目标伤痕的轮廓信息已知时，可以通过伤痕的外接矩形的尺寸来对其基本形状进行判断。但是不是任意一个外接矩形都可以表示伤痕的长宽尺寸，故采用计算伤痕最小外接矩形特征参数的方法获得伤痕的长度和宽度。该方法首先是在伤痕90°范围内以3°的步长增量旋转，每转过一个增量后，会获得一组外接矩形的特征参数信息，当对比所有的参数信息后，矩形面积A达到最小时，这时的矩形为最小外接矩形。L为连通区域最小外接矩形的长，W为连通区域最小外接矩形的宽。本发明选用矩形长宽之比的比率R作为判断伤痕方向的标准，当比率R大于1时为纵向伤痕，否则为横向伤痕。其公式表示如下：

经过最小外接矩形长宽比之后，可以得到更加详细的伤痕参数信息。

本发明提供的将机器视觉运用到飞机铆钉表面的伤痕检测的方法，针对采集到的图像通过伤痕检测算法判断出铆钉表面是否有伤痕，为纵向伤痕还是横向伤痕，并获取了伤痕详细的参数信息，有效地克服了人工检测带来的误差和低效[8]。通过试验可以得到其自动生成的阈值信息为0.54，该铆钉的伤痕面积为638.88，其长度信息为57.00，最大宽度信息为61.00，最小宽度信息为0.01，由此可通过判断出其形状信息为横向伤痕。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种飞机铆钉表面的伤痕检测方法，其特征在于，包括以下步骤：

步骤1：对采集得到的飞机铆钉图像进行预处理得到伤痕目标突出的二值图像；

步骤2：对所述伤痕目标突出的二值图像采用数学形态学处理进行伤痕识别；

步骤3：对识别到的伤痕进行定位并显示其特征信息。

2.根据权利要求1所述的飞机铆钉表面的伤痕检测方法，其特征在于，所述预处理包括：对采集得到的飞机铆钉图像依次进行灰度化和直方图均衡化处理、中值滤波处理、图像增强处理、图像二值化处理、二值图像滤波处理。

3.根据权利要求2所述的飞机铆钉表面的伤痕检测方法，其特征在于，所述灰度化和直方图均衡化处理包括：

所述灰度化包括:选取像素H(i,j)的R、G、B分量的亮度加权平均值作为此像素的灰度值，计算公式为：

H_g(i,j)＝0.299*R(i,j)+0.587*G(i,j)+0.114*B(i,j) (1)

4.根据权利要求2所述的飞机铆钉表面的伤痕检测方法，其特征在于，所述图像二值化处理包括以下步骤：

步骤(1)：统计伤痕图像里的最小灰度值T_min,最大灰度值T_max,求取两值的平均值作为初始阈值：

步骤(2)：对图像进行分割，利用求出的初始阈值对图像进行分割，得到两个像素集合，G₁＝{f(x,y)≥T},G₂＝{f(x,y)＜T}；

步骤(3)：对集合G₁，G₂求其灰度平均值μ₁与μ₂：

步骤(4):根据μ₁与μ₂计算出新的阈值：重复步骤(2)、(3)进行迭代，直到计算出的阈值T收敛于某一范围为止。

5.根据权利要求2所述的飞机铆钉表面的伤痕检测方法，其特征在于，所述数学形态学处理是构建一个具有一定形态的结构元素去匹配和提取图像中对应形状的位置，从而达到对图像进行分析和识别的目的。

6.根据权利要求2所述的飞机铆钉表面的伤痕检测方法，其特征在于，步骤3中所述对识别到的伤痕进行定位包括:通过水平像素积分投影和垂直像素积分投影来绘制其投影曲线，从而定位伤痕的具体区域和参数信息，具体包括以下步骤：

(1)选取图像中心点

对预处理后的伤痕图像，将其设为I(i,j),m、n分别表示图像的总行数与总列数。在图像中求取点C(c1,c2)作为中心点，其中

(2)对伤痕图像作像素积分投影

I(i,j)为伤痕图像，g(i,j)为对应的像素点，n表示图像的列数，则水平像素积分投影为：

m为图像的行数，则垂直像素积分投影为：

分别判断伤痕的上下边界和左右边界，通过上下边界和左右边界从而定位伤痕的具体区域和参数信息；

所述水平像素积分投影包括：

对图像I(i，j)利用公式(5)作水平像素积分投影，从c1点开始，向上下两个方向进行扫描。利用伤痕的行间隙对水平像素积分投影得到的像素积分值进行判定，确定伤痕的上下边界；

(H(i-1)＞h)∩(H(i-2)＞h)∩…∩(H(i-r)＞h)∩(H(i)<h)＝1 (7)

(H(i+1)<h)∩(H(i+2)<h)∩…∩(H(i+r)<h)∩(H(i)＞h)＝1 (8)

式中h为行切分的阈值，理想情况下为0，本发明选取其为1，r是为区分行间隙而设定的阈值，本发明固定取1

同理，利用公式(6)作垂直像素积投影，从c2点开始，从左右两个方向进行扫描，得到左右边界，其表达式如下：

(D(j-1)＞d)∩(D(j-2)＞d)∩…∩(D(j-s)＞d)∩(D(j)<d)＝1 (9)

(D(j+1)<d)∩(D(j+2)<d)∩…∩(D(j+s)<d)∩(D(j)＞d)＝1 (10)

式中d为列切分的阈值，为1，s用于区分列间隙，取值25。

7.根据权利要求6所述的飞机铆钉表面的伤痕检测方法，其特征在于，步骤3中所述对识别到的伤痕进行特征信息显示包括：采用最小外接矩形长宽比的方式进行伤痕判断，具体为：选用矩形长宽之比的比率R作为判断伤痕方向的标准，当比率R大于1时为纵向伤痕，否则为横向伤痕，其公式表示如下：