CN102928435A - 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于图像和超声信息融合的飞机蒙皮损伤识别方法，属于结构健康监测技术领域。本发明预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器进行训练；分别获取待识别飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后将图像的纹理特征和超声波回波特征所构成的特征向量输入训练好的分类器，分类器的输出即为待识别飞机蒙皮的损伤类别。本发明还公开了一种基于图像和超声信息融合的飞机蒙皮损伤识别装置。本发明能够显著提高飞机蒙皮损伤检测的区分度和准确率。

Description

基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置

技术领域

本发明涉及一种飞机蒙皮损伤识别方法，尤其涉及一种基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置，属于结构健康监测技术领域。

背景技术

目前在飞机蒙皮损伤检测领域常用的无损检测有五种：超声检测(UT)、射线探伤(RT)、渗透探查(PT)、磁粉检测(MT)和涡流检测(ET)，以及各种可视化技术，其中使用最广泛的是目视检测。

目视检测是利用目视观察或光学仪器来获得被测物体信息的方法。目前，目视检测是最主要的检查方法，90%的检测依靠目视检测，其余10%依靠无损检测方法。很多情况下目视检查就足以确定蒙皮表面损伤，其他无损检测方法都是对目视检查的一种补充。一般，目视检测可观察到的裂纹最小尺寸长度约2mm，宽度约为0.1mm。使用放大镜，可以观察到的裂纹最小尺寸长度<1mm，宽度约为0.01mm。据统计，当蒙皮裂纹长度为25mm时，目视检查检出概率为30%左右；当蒙皮裂纹长度为50mm时，目视检查检出概率为70%左右。目视检测的缺点是只适合发现较大的损伤，发现微小损伤的概率较低。

在各种检测方法中，磁粉、渗透和涡流三种检测方法，只能检查表面和近表面缺陷，对蒙皮内部的损伤不敏感。射线检测法虽然可以用于检测内部缺陷，但是它对裂纹等面形缺陷检测灵敏度低，另外由于其检测速度慢，并且需要专门的防护设备，因而大大限制了该方法的应用范围。

超声波可以穿透无线电波、光波无法穿过的物体，同时又能在两种特性阻抗不同的物质交界面上反射，当物体内部存在不均匀性时，会使超声波衰减改变，从而可区分物体内部的缺陷。因此，在超声检测中，发射器发射超声波的目的是超声波在物体遇到缺陷时，一部分声波会产生反射，发射和接收器可对反射波进行分析，精确地测出缺陷来，并显示出内部缺陷的位置和大小，测定材料厚度等。

超声检测作为一种重要的无损检测技术不仅具有穿透能力强、设备简单、使用条件和安全性好、检测范围广等根本性的优点外，而且其输出信号是以波形的方式体现。使得当前飞速发展的计算机信号处理、模式识别和人工智能等高新技术能被方便地应用于检测过程，从而提高检测的精确度和可靠性。

机器视觉是用机器代替人眼，将被摄目标转换成图像信号传给图像处理系统，并做出测量和判断，机器视觉系统是用计算机模拟人的视觉功能，获取图像并传递给图像处理单元进行数字化处理，用于实际检测和控制。

在一些危险作业环境下或者人工视觉无法满足检测精度要求的情况下，常用机器视觉代替人工视觉，比如移动机器人导航、生产线上的零件识别与定位、产品检测、医学图像分析、监视与跟踪等方面。机器视觉在提高生产效率和检测精度的同时也降低了工人的劳动强度，提高了生产工业的自动化水平，得到广泛应用。

以往对结构损伤识别的研究大多集中在单传感器或少量传感器的测试数据基础上来进行的，并把这些方法直接引用到结构健康监测中。实际上，在结构健康监测系统中，传感器的类型与数量较多，不同类型和不同位置的传感器所反应的结构状态及其灵敏性是不同的。因此如何综合、有选择地利用这些传感器的数据信息是极为重要的问题，传统的损伤识别方法在这方面受到局限。

发明内容

本发明所要解决的技术问题在于克服现有飞机蒙皮结构健康监测技术的不足，提供一种基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置，综合利用图像信息和超声信息对飞机蒙皮损伤类别进行识别，有效结合了超声损伤检测和机器视觉损伤检测的优点，能够大幅提高检测的准确性、灵敏性以及适用范围。

本发明具体采用以下技术方案解决上述技术问题：

一种基于图像和超声信息融合的飞机蒙皮损伤识别方法，预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器进行训练；分别获取待识别飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后将图像的纹理特征和超声波回波特征所构成的特征向量输入训练好的分类器，分类器的输出即为待识别飞机蒙皮的损伤类别。

优选地，所述图像的纹理特征按照以下方法提取：首先对图像进行预处理并进行灰度化，然后计算其归一化灰度共生矩阵，最后计算出归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，这四个特征参数即为该图像的纹理特征。

优选地，所述超声波回波特征包括超声波回波信号的回波时间、回波信号能量。

本发明技术方案中，所述分类器可采用BP神经网络、小波神经网络等，本发明优选支持向量机(Support Vector Machine，简称SVM)分类器。

一种基于图像和超声信息融合的飞机蒙皮损伤识别装置，包括：图像采集单元、超声回波信号采集单元、图像预处理单元、超声回波信号预处理单元、图像纹理特征提取单元、超声波回波特征提取单元、分类器；图像采集单元采集的图像信号经图像预处理单元预处理后，由图像纹理特征提取单元提取其纹理特征，并将提取的纹理特征输入分类器；超声超声回波信号采集单元采集的超声回波信号经超声回波信号预处理单元预处理后，由超声波回波特征提取单元提取其超声波回波特征，并将提取的超声波回波特征输入分类器；所述分类器通过以下方法预先训练得到：预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器进行训练；所述分类器的输出即为损伤类别。

本发明通过提取飞机蒙皮图像的灰度共生矩阵和飞机蒙皮超声回波的时间和高度，然后利用支持向量机对飞机蒙皮损伤进行分类识别，最后根据识别结果做出蒙皮损伤诊断与决策，提高了飞机蒙皮损伤的区分度和准确率。

附图说明

图1为本发明飞机蒙皮损伤识别方法的原理示意图；

图2为支持向量机的结构原理示意图；

图3为本发明具体实施方式中所采用的支持向量机的结构示意图；

图4为本发明飞机蒙皮损伤识别装置的结构框图；

图5为本发明飞机蒙皮损伤识别装置中的图像预处理单元的原理框图；

图6为本发明飞机蒙皮损伤识别装置中的超声回波信号预处理单元的原理框图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是通过多信息融合的方式来解决现有飞机蒙皮损伤识别技术的局限性，提高识别精度，扩展适用范围。为达到该目的，本发明将基于机器视觉和基于超声波探测的结构健康检测技术结合，将图像纹理特征和超声回波特征融合，作为分类器的输入，从而对蒙皮的损伤类别进行准确识别。

相对于颜色特征、形状特征等，图像的纹理特征更适于用作飞机蒙皮表面损伤的检测，然而，不同的图像纹理特征对最终的识别结果的准确性会产生不同的影响，为此，本发明采用图像的灰度共生矩阵（Gray Level Co-occurrence Matrix）作为识别的基本特征，灰度共生矩阵描述的是相隔特定距离和特定方向的两个像素从某一灰度过渡到另一灰度的概率，反映图像的方向、间隔、变化幅度及快慢的综合信息。灰度共生矩阵是一种重要的纹理统计分析方法和纹理测量技术，被广泛应用于灰度值转化为纹理信息。在灰度共生矩阵中，当间隔                                                

取值较小时，靠近对角线的元素表示图像中灰度级别相近的像素对出现的几率，远离对角线的元素表示图像中灰度级别相差较大的像素对出现的几率。本发明中为了获得旋转不变的纹理属性（归一化灰度共生矩阵），对经过预处理及灰度化的图像，分别求其0°、45°、90°、135°四个方向的归一化灰度共生矩阵，然后进行平均，从而得到旋转不变的归一化灰度共生矩阵。从灰度共生矩阵中可以提取出大量代表纹理的特征量，分析飞机蒙皮的纹理特征，本发明中所用的特征值包括以下四种：

1、角二阶矩（ASM）： 

ASM是灰度共生矩阵元素值的平方和，又称能量，反映了飞机蒙皮图像灰度分布均匀程度和纹理粗细度。当共生矩阵中元素集中分布于主对角线时，说明飞机蒙皮图像的灰度分布比较均匀，宏观上图像纹理比较粗，此时ASM值大；反之，ASM较小时，图像纹理分布不均或纹理较细。

2、主对角线惯性矩（CON）：

CON是图像小区域内灰度变化总量，又称对比度，反映了飞机蒙皮图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其惯性矩越大，飞机蒙皮视觉效果越清晰；反之，惯性矩小，则沟纹浅，效果模糊。

3、相关系数（COR）：

COR度量空间灰度共生矩阵元素在行或列方向上的相似程度，飞机蒙皮图像中有某一灰度沿某些方向延伸时，延伸越长则相关性越大。 

4、熵（ENT）：

表示了图像中纹理的非均匀程度或复杂程度。如果图像没有任何纹理，则灰度共生矩阵几乎为零阵，熵值接近为零；如果灰度共生矩阵中所有值均相等时，熵取最大值；如果灰度共生矩阵中的值非常不均匀时，熵很小。

超声回波信号的缺陷波在时轴上的位置取决于缺陷的声程(即缺陷与被测物上表面之间的距离)，可由此确定缺陷在被测物中的位置。缺陷波的高度，取决于缺陷的反射面积和方向角的大小，借此可评价缺陷的当量大小。由于缺陷使部分声能反射，同时超声波在被测物体内部传播时的能量要产生衰减，因此底波高度小于头波高度。为此，本发明所提取的超声回波信号主要包括以下两个特征：

回波能量：相对于头波距离最近的超声波回波与头波的幅度值之比；

回波时间：头波与其距离最近的超声波回波之间的时间间隔。

   本发明的分类器可采用BP神经网络、小波神经网络等，其中支持向量机方法在模式识别领域具有很大优势：可以进行小样本学习, 避免了过拟合现象, 收敛速度快；获得的是全局最优解, 解决了在神经网络方法中无法避免的局部极值问题；巧妙地解决了维数灾难问题。因此本发明优选支持向量机分类器。支持向量机的结构原理如图2所示，其中，

代表输入的特征向量，n为特征向量的维数，函数称为点积的卷积核函数，本发明优选径向基核函数：，

代表经过函数变换以后的输出权值。

    根据以上分析即可得到本发明的飞机蒙皮损伤识别方法，其原理如图1所示，具体包括以下步骤：

步骤1、获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号：

根据实际需要将飞机蒙皮损伤进行分类，本具体实施方式中将损伤类别分为正常、裂纹、腐蚀、撞击四类。对这四种损伤类型的飞机蒙皮，通过摄像机（例如CCD摄像机）和图像采集卡组成的图像采集单元进行图像采集；通过超声采集卡采集飞机蒙皮的超声回波信号。

步骤2、对采集到的图像和超声波回波信号分别进行预处理：

    由于飞机蒙皮图像存在很多干扰，例如光线分布不均、CCD摄像机产生的半导体热噪声和CCD芯片放大器噪声、暗电流引起的图形噪声等。噪声的存在阻碍了蒙皮图像的分析，直接影响到整个图像处理的过程和结果，因此首先需要对蒙皮图像进行预处理，主要包括图像平滑处理、图像增强和图像边缘提取。在实际超声探伤中，灵敏度越高，仪器电噪声越大，显示屏出现过多杂波，检测回波信噪比下降容易漏检,缺陷回波湮没在草状和林状杂波中，很难区分出缺陷波的位置和波幅大小，因此首先需要对飞机蒙皮超声回波进行预处理，主要包括滤波，去除噪声。 

步骤3、提取图像的纹理特征及超声波回波特征：

图像的纹理特征按照以下方法提取：首先对图像进行预处理并进行灰度化，由于灰度共生矩阵的维数等于图像像素的级数，因此需要适当降低图像的灰度级以降低运算复杂程度，本具体实施方式中取图像灰度级为32；然后计算其归一化灰度共生矩阵，为了获得旋转不变的纹理属性，所述归一化灰度共生矩阵通过对经过预处理及灰度化的图像，求其0°、45°、90°、135°四个方向的归一化灰度共生矩阵的平均值得到；最后计算出归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，这四个特征参数即为该图像的纹理特征。本具体实施方式中超声波回波特征为超声波回波信号的回波时间、回波信号能量。

步骤4、将归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，以及超声波回波信号的回波时间、回波能量这六个特征参数构成特征向量，作为支持向量机的输入，以损伤类别作为输出，对支持向量机进行训练：

由于本具体实施方式中将损伤类别分为正常、裂缝、腐蚀和撞击这四类，因此采用图3所示的基于二叉树的多类分类支持向量机，首先将所有类别分成两个子类，再将子类进一步划分成两个次级子类，如此循环下去，直到得到一个单独的类别为止，这样就得到一个倒立的二叉分类树，将原有的多类问题分解成了一系列的两类分类问题，每个节点处采用SVM二值分类器作为分类函数。本发明中将研究对象分为4类，构造一个二叉决策树(DTM)，则树的每个叶子节点对应一个类别，每个度为2的非叶子节点对应一个子SVM，所以二叉树共有7个节点，叶节点个数为4，子SVM个数为3。六个特征参数分别对应特征向量中的

，从而构成一个六维特征向量。训练完成后，即得到本发明的支持向量机分类器。

步骤5、对于待识别飞机蒙皮，分别采集其图像及超声波回波信号，对采集到的图像和超声波回波信号分别进行预处理，提取图像的纹理特征及超声波回波特征，具体方法分别与步骤1-步骤3类似，此处不再赘述；然后以提取的六个特征参数所构成的特征向量作为测试样本输入训练好的分类器，分类器的输出即为待识别飞机蒙皮的损伤类别。

本发明的基于图像和超声信息融合的飞机蒙皮损伤识别装置，如图4所示，包括：图像采集单元、超声回波信号采集单元、图像预处理单元、超声回波信号预处理单元、图像纹理特征提取单元、超声波回波特征提取单元、分类器；图像采集单元采集的图像信号经图像预处理单元预处理后，由图像纹理特征提取单元提取其纹理特征，并将提取的纹理特征输入分类器；超声超声回波信号采集单元采集的超声回波信号经超声回波信号预处理单元预处理后，由超声波回波特征提取单元提取其超声波回波特征，并将提取的超声波回波特征输入分类器；所述分类器通过以下方法预先训练得到：预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器（本实施例中采用SVM分类器）进行训练；所述分类器的输出即为损伤类别，通过分类结果显示单元显示。其中，图像预处理单元对图像预处理时，如图5所示，具体包括：图像平滑处理、图像增强和图像边缘提取；超声回波信号预处理单元对超声回波信号进行预处理，如图6所示，包括滤波和去除噪声。所述图像纹理特征提取单元具体按照以下方法进行纹理特征提取：首先将预处理后的图像进行灰度化，然后计算灰度化图像的归一化灰度共生矩阵，最后计算出归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，这四个特征参数即为该图像的纹理特征；所述超声波回波特征提取单元所提取的超声波回波特征包括超声波回波信号的回波时间、回波能量。

Claims (10)

1.一种基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器进行训练；分别获取待识别飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后将图像的纹理特征和超声波回波特征所构成的特征向量输入训练好的分类器，分类器的输出即为待识别飞机蒙皮的损伤类别。

2.如权利要求1所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述图像的纹理特征按照以下方法提取：首先对图像进行预处理并进行灰度化，然后计算其归一化灰度共生矩阵，最后计算出归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，这四个特征参数即为该图像的纹理特征。

3.如权利要求2所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述灰度化是指将预处理后的图像转换为灰度级为32的灰度图像。

4.如权利要求2所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述归一化灰度共生矩阵通过对经过预处理及灰度化的图像，求其0°、45°、90°、135°四个方向的归一化灰度共生矩阵的平均值得到。

5.如权利要求2所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述图像预处理包括图像平滑处理、图像增强和图像边缘提取。

6.如权利要求1所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述超声波回波特征包括超声波回波信号的回波时间、回波能量。

7.如权利要求1所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述分类器为支持向量机分类器。

8.如权利要求7所述基于图像和超声信息融合的飞机蒙皮损伤识别方法，其特征在于，所述支持向量机分类器的核函数为径向基核函数。

9.一种基于图像和超声信息融合的飞机蒙皮损伤识别装置，其特征在于，包括：图像采集单元、超声回波信号采集单元、图像预处理单元、超声回波信号预处理单元、图像纹理特征提取单元、超声波回波特征提取单元、分类器；图像采集单元采集的图像信号经图像预处理单元预处理后，由图像纹理特征提取单元提取其纹理特征，并将提取的纹理特征输入分类器；超声超声回波信号采集单元采集的超声回波信号经超声回波信号预处理单元预处理后，由超声波回波特征提取单元提取其超声波回波特征，并将提取的超声波回波特征输入分类器；所述分类器通过以下方法预先训练得到：预先获取各已知损伤类别的飞机蒙皮的图像及超声波回波信号，并提取图像的纹理特征及超声波回波特征，然后以图像的纹理特征和超声波回波特征所构成的特征向量作为输入，以损伤类别作为输出，对分类器进行训练；所述分类器的输出即为损伤类别。

10.如权利要求9所述基于图像和超声信息融合的飞机蒙皮损伤识别装置，其特征在于，所述图像纹理特征提取单元具体按照以下方法进行纹理特征提取：首先将预处理后的图像进行灰度化，然后计算灰度化图像的归一化灰度共生矩阵，最后计算出归一化灰度共生矩阵的四个特征参数：角二阶矩、主对角线惯性矩、相关系数、熵，这四个特征参数即为该图像的纹理特征；所述超声波回波特征提取单元所提取的超声波回波特征包括超声波回波信号的回波时间、回波能量。

Images