CN111627007A - 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于自优化匹配网络图像拼接的航天器缺陷检测方法，首先基于温度变化特征分离出突显缺陷特征的温度变化特征重构图像，然后采用FAST算法进行特征点检测，利用SURF算法进行检测到的特征点进行描述，克服传统的SURF检测法提取特征点少，计算量大的问题，同时保证了匹配过程的抗噪能力和对仿射变换、温差的鲁棒性；通过双向的暴力匹配进行特征点对(匹配点对)粗匹配、通过构建偏差向量和自优化匹配网络剔除误匹配，保证匹配结果的速度和精度，实现适应性和鲁棒性更强的优化匹配结果。同时进一步提纯匹配点对对并计算出几何变换矩阵，使各检测区域的温度变化特征重构图像有效融合，实现对航天器表面大范围的快速检测。

Description

一种基于自优化匹配网络图像拼接的航天器缺陷检测方法

技术领域

本发明属于缺陷检测技术领域，更为具体地讲，涉及一种基于自优化匹配网络图像拼接的航天器缺陷检测方法。

背景技术

目前，流星体和轨道碎片可能引起的超高速撞击已成为航天器空间活动的主要威胁之一，并将对航天器产生更严重的影响，如表面的弹坑和嵌入杂质造成的内部缺陷。考虑到超高速撞击事件的随机性，撞击的影响程度是不确定的，会导致复杂多变的缺陷损伤，因此，对于潜在的航天器缺陷的检测是一个重要的研究方向。

为了获得有效的航天器缺陷检测和评估结果，需要对航天器整体或大范围局部区域进行原位无损检测。无损检测方法主要包括超声检测、磁粉检测和渗透检测等。利用上述方法进行检测，虽然具有检出率高、灵敏度高、缺陷显示直观等优点，但同时存在劳动强度大、检修周期长、效率低、成本高、环保性和安全性差等问题，相当程度制约了检测工作的开展和效率。

近年来，光脉冲热图像缺陷检测作为一种无损检测新技术得到飞速发展，因其快速高效、低损耗、高安全性等特性，有效解决上述传统无损检测方法存在的劳动强度大、周期长、效率低、安全性差等问题，同时针对大体积的航天器作为检测对象，可实现大面积快速检测，节省人力物力。

在光脉冲热图像缺陷检测系统中，利用脉冲激励控制光源对航天器大范围区域进行热辐射并用红外热像仪记录相应区域的温度场分布。对热辐射引起的表面温度场变化，缺陷区域与正常表面区域会产生差异性，可通过对红外热图像序列的温度变化特征进行分析处理来重构出突显缺陷区域的图像结果即温度变化特征重构图像。温度变化特征重构图像不仅直观地呈现出检测区域的缺陷分布，同时能反映出无法直接观测的近表面缺陷以及流星体和轨道碎片撞击造成的内部缺陷。

航天器体积庞大，表面结构复杂，在进行缺陷检测时，单次检测范围有限，可能无法反映缺陷的分布情况和检测区域内某些缺陷的完整性状。针对损伤缺陷的定性和定量研究十分重要，但是初步地掌握检测区域内缺陷分布情况和基本损伤程度也非常重要。基于图像拼接的思想，将检测各个区域内由红外检测得到的温度变化特征重构图像进行拼接融合，根据大尺度全景拼接结果图像可实现对试件损伤程度的初步判断。

航天器在宇宙执行飞行任务的过程中可能受到来自空间碎片或微流星体的超高速撞击，造成在航天器的表面及亚表面产生多种多样的缺陷模式，如表皮脱落，环形撞击坑，表面裂纹，内部凹陷，穿孔等。对于一些应用场景环境相对稳定的器件或者容器的缺陷检测中，如发动机、高压容器的缺陷检测，其产生的缺陷模式相对单一，分布相对单调。由于超高速撞击造成的损伤具有随机性和多变性，产生的缺陷模式分布复杂，且可能在同一损伤处同时存在多种缺陷模式，甚至可能产生未知的缺陷模式，令相关研究人员无法人为地准确标定和评估。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于自优化匹配网络图像拼接的航天器缺陷检测方法，以实现适应性和鲁棒性更强的优化匹配结果，对缺陷进行准确标定和评估。

为实现上述发明目的，本发明基于自优化匹配网络图像拼接的航天器缺陷检测方法，其特征在于，包括以下步骤：

(1)、获取子区域重构图像

对航天器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；

对每个获得的红外视频流进行采样得到一个红外图像序列，并将其视为输入的一个盲源信号，利用独立成分分析法(ICA算法)进行信号分离，获得突出各个缺陷信息的温度变化特征重构图像；

这样得到该大范围检测区域的各个子区域的温度变化特征重构图像；

(2)、特征点检测和描述

对包括重叠区域的子区域的温度变化特征重构图像I₁、I₂，采用FAST特征点检测算法进行特征点检测，利用SURF算法进行检测到的特征点进行描述，得到特征点的特征向量(维度为64维)，温度变化特征重构图像I₁的所有特征点的特征向量构成特征向量集合

T₁为温度变化特征重构图像I₁检测到的特征点数量，温度变化特征重构图像I₂的所有特征点的特征向量构成特征向量集合

T₂为温度变化特征重构图像I₂检测到的特征点数量；

(3)、粗匹配

依据欧式距离作为度量准则，对特征向量集合

中的特征向量进行双向的暴力匹配，得到一对一匹配结果的粗匹配点对集合{P′_t,Q_t′}，P′_t,、Q′_t为一对粗匹配点，t＝1,2,...,T为粗匹配点(特征向量)对的个数；

(4)、剔除误匹配点对

4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量V_t：

其中，P′_t(r)和Q′_t(r)分别为粗匹配集合中第t个粗匹配点对的第r维；

4.2)、设置自优化匹配网络结构

自优化匹配网络包括三层：输入层的神经元个数s₁为64，与输入对象即偏差向量V_t的维度一致，隐藏层神经元个数s₂为32，利用自优化匹配网络去学习偏差向量V_t的″′压缩″′表示，输出端的神经元个数s₃为2，标记类别0和1；

相应的参数设置：最大迭代次数100，稀疏参数ρ＝0.05，在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为：

F(J,b)为自编码器代价函数，其中J为回归系数，描述各属性在预测中的重要性，b为线性回归中的常量；

对于隐含层的惩罚因子

表示隐藏神经元j的平均激活度，用于限制隐藏神经元的平均活跃度；

4.3)、训练自优化匹配网络

利用前期实验试件中两两温度变化特征重构图像的粗匹配集合构建偏差向量V_i′，i＝1,2,…k，k为粗匹配点(特征向量)对的个数为，构建集合A＝{V₁′,...,V_k′}，并作为无标签数据集训练自优化匹配网络中的稀疏自编码器；

将前期实验试件中两两温度变化特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对，将正确匹配点对标记为1，将剔除掉的错误匹配点对标记为0，构建集合

其中，c_i为分类标记，两特征向量错误匹配表示为0，两特征向量正确匹配表示为1，i＝1,2,…k，并作为有标签数据集，将其中的偏差向量V′_i，i＝1,2,…k，输入到训练后的稀疏自编码器，得到相应的编码向量Y′_i，从而得到分类器样本训练集

选择可实现简单的二分类功能的分类器(如SVM分类器)，用样本训练集

对其进行训练，得到一个输出为0或1标签的分类器，0表示两特征向量错误匹配，1表示两特征向量正确匹配，至此，自优化匹配网络训练完成；

4.4)、将偏差向量V_t输入到训练完成的自优化匹配网络中，首先在训练后的稀疏自编码器进行编码，得到编码向量Y_t，然后输入到分类器中，输出为0或1；

对于粗匹配点对集合{P′_t,Q′_t}，将分类器输出为1的对应粗匹配点对保留，将分类器输出为0的对应粗匹配点对剔除，得到匹配点对集合{P″_w,Q″_w}，w＝1,2,…W，W为匹配点(特征向量)对数量；

(5)、图像拼接

根据匹配点对集合{P″_w,Q″_w}中的匹配点对估计出几何变换矩阵H的参数，确定图像重叠区域，并依据几何变换矩阵H实现两幅重构图像I₁、I₂的拼接；

(6)、更新

将拼接图像作为温度变化特征重构图像I₁，与其(拼接图像)有重叠区域的子区域的重构图像作为温度变化特征重构图像I₂，返回步骤(2)，直到所有的温度变化特征重构图像完成拼接，得到航天器红外检测的大范围全景拼接图像，完成航天器缺陷的检测。

本发明的发明目的是这样实现的：

本发明基于自优化匹配网络图像拼接的航天器缺陷检测方法，基于信号分离的思想，从经过红外检测得到的热视频流中基于温度变化特征分离出突显缺陷特征的温度变化特征重构图像；然后采用FAST算法进行特征点检测，利用SURF算法进行检测到的特征点进行描述，由于FAST算法在检测特征点方面具有快速和稳定的特性，用它来进行角点的检测，克服传统的SURF检测法提取特征点少，计算量大的问题，同时保留SURF特征描述向量的生成部分，保证了匹配过程的抗噪能力和对仿射变换、温差的鲁棒性；通过双向的暴力匹配进行特征点对(匹配点对)粗匹配、通过构建偏差向量和自优化匹配网络剔除误匹配，保证匹配结果的速度和精度，同时进一步提纯匹配点对对并计算出几何变换矩阵，实现图像的精确配准，使各检测区域的温度变化特征重构图像有效融合，实现对航天器表面大范围的快速检测，以获取缺陷分布情况和检测区域内所有缺陷模式的完整性状。

本发明针对航天器可能受到的撞击程度的随机性和不确定性，导致的缺陷模式繁多，分布复杂且存在多种缺陷模式并存和出现未知模式的问题构建了自优化匹配网络，实现对缺陷模式特征的自学习过程，得到输入数据(偏差向量)的高级特征(编码向量)表示，实现对数据特征的进一步压缩提取，从而实现适应性和鲁棒性更强的优化匹配结果。

传统的有监督学习和半监督学习方法均需要大量的有标签数据集，实现大量的人为标签数据耗时耗力且对于未知的缺陷模式根本无法实现人为标注类型。利用自学习方法可以实现从大量无标签数据集中，自主学习到数据中的“高级特征表示”，实现对数据特征的进一步压缩提取，从而帮助我们更好地进行特征匹配。需要强调的是，在面对同时具有多种缺陷模式的数据甚至未知数据时，自学习方法在完成网络训练后，仍能自主学习到各种缺陷模式的高级特征并且实现精简的编码表示，进而优化特征匹配的过程。

附图说明

图1是本发明基于自优化匹配网络图像拼接的航天器缺陷检测方法一种具体实施方式的流程图；

图2是FAST特征点检测算法检测示意图；

图3是对四张重构图像进行特征点检测的结果图；

图4是粗匹配和剔除误匹配点对后的结果图，其中，(a)为粗匹配的结果图，(b)为剔除误匹配点对后的结果图；

图5是四幅重构图像拼接过程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于自优化匹配网络图像拼接的航天器缺陷检测方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明基于自优化匹配网络图像拼接的航天器缺陷检测方法包括以下步骤：

步骤S1：获取子区域重构图像

对航天器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；对每个获得的视频流进行采样得到一个红外图像序列，并将其视为输入一个盲源信号，利用独立成分分析法(ICA算法)进行信号分离，获得突出各个缺陷信息的温度变化特征重构图像；这样得到该大范围检测区域的各个子区域的温度变化特征重构图像。

在本实施例中，首先用红外热像仪对航天器表面进行拍摄，保证拍摄的两相邻子区域包含30％左右的重叠区域。结合ICA数学模型和各缺陷区域的信号特征与热视频信号之间的关系，提取各子区域的温度变化特征重构图像。

ICA的目标是从原始图像序列中分离出几个独立的分量(ICs)。对红外图像序列进行ICA处理获得温度变化特征重构图像的具体步骤如下：

步骤S101：将红外图像序列向量化获得新矩阵：

首先，在红外检测系统中基础的ICA数学模型可被描述为：

Q′(t)表示预处理的初始图像序列，m_j(j＝1,2,3...,L)表示混合向量，描述采集的图像序列第j^th位置组成成分，L表示独立信号图像的个数，即要突显的缺陷特征数量。P′_j(t)表示在位置区域j时间为t维度为p×q时生成的重构图像。p和q由红外热像仪传感器决定，p＝512，q＝640。对Q′(t)进行采样离散化和分解得到新的矩阵

Q′(t)＝[vec(Q(t)),vec(Q(t+1)),...,vec(Q(t+N-1))]^T

新的重构图像序列可以被表示为生成的独立信号的线性组合：

Q(t)＝MP(t)

这里混合矩阵M＝[m₁,m₂,...,m_L]and m_j是j^th个混合向量。

P(t)＝[vec(P₁(t)),vec(P₂(t)),...,vec(P_L(t))]^T

假设L＝N并且矩阵M满秩，这样我们可以得到下式：

P(t)＝WQ(t)，W＝M^-1

ICA算法相当于寻找使各温度变化特征分量尽可能独立的线性变换，并对给定的训练数据最大化变换后的坐标的边缘密度，即：

这里p_j(t)＝vec(P_j(t))，Pr(·)是概率。

步骤S102：利用奇异值分解实现对Q(t)的PCA白化：

Q(t)^T＝U_R×R∑_R×NV^T _N×N

其中R＝p×q，U_R×R和V^T _N×N正交矩阵，∑_R×N由奇异值组成，U_R×R的列向量代表PCA基础向量。利用PCA方法实现降维，选择L≤N，即存在L个输入信息的最大主成分，U_R×L的基础向量被对应的非零奇异值选中。

步骤S103：使用ICA算法得到独立信号图像：

主成分分析法得到的基向量只是不相关的，但在统计学上并不是独立的。将PCA基向量U_R×L作为ICA中的观测值，即：

U^T _R×L＝M_L×LP_L×R(t)

ICA估计了作为原混合矩阵逆矩阵近似解的分离矩阵，可由FastICA算法估计出各温度特征独立分量。则可由下式得到独立分量：

对于每一个估计的ICs，由第i^th区域产生的温度特征独立分量图像序列的重构过程可以表示为：

为待估计矩阵

的第j^th向量。

的伪逆矩阵表示

是各区域中突出各温度变化特征独立分量的图像序列，选择其中质量最好且对比度最高的图像进行接下来的拼接算法的研究。

步骤S2：特征点检测和描述

对包括重叠区域的子区域的温度变化特征重构图像I₁、I₂，采用FAST特征点检测算法进行特征点检测，利用SURF算法进行检测到的特征点进行描述，得到特征点的特征向量(维度为64维)，温度变化特征重构图像I₁的所有特征点的特征向量构成特征向量集合

T₁为温度变化特征重构图像I₁检测到的特征点数量，温度变化特征重构图像I₂的所有特征点的特征向量构成特征向量集合

T₂为温度变化特征重构图像I₂检测到的特征点数量。

本步骤主要分为特征点检测和特征点描述两个部分。本发明采用基于FAST特征点检测算法取代传统SURF特征点检测算法，提高了特征点提取数量和速度。

FAST特征点检测算法利用特征点周围的图像灰度值来判断，非常简单又快速，主要方法为使用一个16温度单元的圆(半径为3单元)来确定中心点是角点还是非角点。通过比较中心单元的所有这些单元的强度(对于温度特征图像来说即为对应温度值的大小)，如果16个单元中的至少12个为更大值或更小值，则将中心点定义为角点。如图2所示，白色虚线中中心点c与线上的点x之间的对应温度值差的绝对值大于给定阈值，即满足下式：

其中I(x)代表圆周上某一个点的温度值，I(c)表示中心点c的温度值，ε是预定阈值。如果圆周上有n个(n大于预定阈值ε)连续单元，并且完全满足上式，D＝1，则定义中心点c是角点即特征点。

利用SURF算法进行特征点描述，保留FAST特征点检测算法检测到的特征点依旧具有尺度和旋转不变性。首先需要确定每个检测到的特征点的主方向，然后沿主方向构造一个窗口领域，在窗口内利用Haar小波响应值来提取描述特征点的特征向量。然后对Haar小波响应值进行统计∑dx,∑|dx|,∑dy,∑|dy|形成特征向量。以特征点为中心20σ为边长的矩形窗口内，将20σ×20σ的窗口划分为4×4的子窗口，每个单元中有5σ×5σ个温度单元，进行25次采样，分别得到沿主方向的小波响应值dy和垂直于主方向的小波响应值dx。分别统计每个子块的响应值，分别对各方向响应值以及响应绝对值求和。得到每个子块的矢量V＝[∑dx,∑|dx|,∑dy,∑|dy|]。统计4×4个子区域的向量就得到了一个64维的向量,该向量就是描述子特征向量。

步骤S3：粗匹配

依据欧式距离作为度量准则，对特征向量集合

中的特征向量进行双向的暴力匹配，得到一对一匹配结果的粗匹配点对集合{P′_t,Q′_t}，P′_t,、Q′_t为一对粗匹配点，t＝1,2,...,T为粗匹配点(特征向量)对的个数。

采用双向匹配法确保匹配点对的唯一性原则，即两种匹配映射关系{u→v}和{v→u}，分别表示重构图像I₁到重构图像I₂的匹配集合和重构图像I₂到重构图像I₁的匹配集合，采用双向匹配最后获得的结果就是选取两个集合的交集。双向匹配获得的匹配点对数减少且精确，这在提高匹配速度和匹配精度方面起着重要的作用。双向匹配法通过牺牲少量的计算时间来提高匹配的正确率以及后续算法的速度。

步骤S4：剔除误匹配点对(自优化匹配网络匹配)

传统特征匹配方法仅仅依据简单的几何关系度量两个特征向量的相似程度，很明显是不可取的，粗匹配的结果包含着错误匹配和正确匹配的特征点对。其中错误匹配点对对图像拼接的影响非常严重，轻则引起拼接结果的形变和扭曲，严重地会导致图像拼接的失败。

为实现从提取到的特征向量中提取更多有用信息，且能帮助特征匹配过程不断优化自身，对从各类缺陷模式提取到的特征向量粗匹配集均能自动适应，提取出准确匹配的特征点对集合，本发明将采用自学习的方法，对粗匹配对集合得到的数据进一步学习和分类，实现对特征匹配过程的自优化过程，得到准确的匹配点对集合。

步骤S4.1：构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量V_t：

其中，P′_t(r)和Q′_t(r)分别为粗匹配集合中第t个粗匹配点对的第r维。

步骤S4.2：设置自优化匹配网络结构

自优化匹配网络包括三层：输入层的神经元个数s₁为64，与输入对象即偏差向量V_t的维度一致，隐藏层神经元个数s₂为32，利用自优化匹配网络去学习偏差向量V_t的″′压缩″′表示，输出端的神经元个数s₃为2，标记类别0和1；

相应的参数设置：最大迭代次数100，稀疏参数ρ＝0.05，稀疏参数用于为了评价网络训练效果。

使用代价函数衡量模型预测出来的值与输入的真实值之间的差异。在本发明中，在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为：

F(J,b)为自编码器代价函数，其中J为回归系数，描述各属性在预测中的重要性，b为线性回归中的常量，γ为影响系数；

在本发明中，稀疏自编码器时使用的总体代价函数在自编码器代价函数基础上新增了对于隐含层的惩罚因子，对于隐含层的惩罚因子，其表达式为：

表示隐藏神经元j的平均激活度，用于限制隐藏神经元的平均活跃度，用于保证隐含层的稀疏性。实现对偏差向量进行降维表示的目的。

步骤S4.3：训练自优化匹配网络

利用前期实验试件中两两温度变化特征重构图像的粗匹配集合构建偏差向量V′_i，i＝1,2,…k，k为粗匹配点(特征向量)对的个数为，构建集合A＝{V′₁,...,V′_k}，并作为无标签数据集训练自优化匹配网络中的稀疏自编码器；

将前期实验试件中两两温度变化特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对，将正确匹配点对标记为1，将剔除掉的错误匹配点对标记为0，构建集合

其中，c_i为分类标记，两特征向量错误匹配表示为0，两特征向量正确匹配表示为1，i＝1,2,…k，并作为有标签数据集，将其中的偏差向量V′_i，i＝1,2,…k，输入到训练后的稀疏自编码器，得到相应的编码向量Y′_i，从而得到分类器样本训练集

选择可实现简单的二分类功能的分类器(如SVM分类器)，用样本训练集

对其进行训练，得到一个输出为0或1标签的分类器，0表示两特征向量错误匹配，1表示两特征向量正确匹配，至此，自优化匹配网络训练完成。

步骤S4.4：将偏差向量V_t输入到训练完成的自优化匹配网络中，首先在训练后的稀疏自编码器进行编码，得到编码向量Y_t，然后输入到分类器中，输出为0或1；

对于粗匹配点对集合{P′_t,Q′_t}，将分类器输出为1的对应粗匹配点对保留，将分类器输出为0的对应粗匹配点对剔除，得到匹配点对集合{P″_w,Q″_w}，w＝1,2,…W，W为匹配点(特征向量)对数量。

本发明构建的自优化匹配网络，通过从包含一定数量的已知缺陷模式的实验试件中提取特征向量，进行粗匹配进而构建偏差向量作为训练样本，利用网络中训练好的稀疏编码器可得到对偏差向量的高级特征表示，既实现了特征维度的减少，又能从偏差向量中自主学习到各缺陷模式特征的“高级表示”，便于分类器分类。在遇到未知缺陷模式和多种缺陷模式并存的情况下，该“高级表示”仍可实现对新的缺陷模式的表征，从而保证特征匹配过程中的准确性。

步骤S5：图像拼接

根据匹配点对集合{P″_w,Q″_w}中的匹配点对估计出几何变换矩阵H的参数，确定图像重叠区域，并依据几何变换矩阵H实现两幅重构图像I₁、I₂的拼接。具体为：

根据特征点(x,y)和对应的匹配点(x^*,y^*)计算几何变换矩阵H

其中，

h_g(g＝1,2,…8)，表示H矩阵的自由度参数。根据H矩阵通过坐标变化，确定图像重叠区域，形成拼接图像。

步骤S6：更新

将拼接图像作为温度变化特征重构图像I₁，与其(拼接图像)有重叠区域的子区域的重构图像作为温度变化特征重构图像I₂，返回步骤(2)，直到所有的温度变化特征重构图像完成拼接，得到航天器红外检测的大范围全景拼接图像，完成航天器缺陷的检测。

本发明针对缺陷模式的多样性和未知性，构建自优化匹配网络模型。首先对FAST-SURF方法提取到的特征向量进行粗匹配过程，再根据粗匹配得到的匹配点对的特征向量构建出相应维度的偏差向量，用来描述两个特征向量的相似程度。应用自学习的方法，将偏差向量作为输入，训练稀疏编码器，得到对偏差向量的“高级特征表示”，对输入向量进行特征提取和压缩得到精简且易分类的特征表示。训练一个可实现二分类功能的分类器，将粗匹配结果中正确匹配的结果标记为1，错误匹配结果标记为0。最终训练好的自优化匹配网络，可以自主地学习到输入数据中的“高级特征表示”，即使原实验试件的缺陷模式改变或者出现未知的缺陷模式，训练好的自优化匹配网络模型都可以实现对新输入的偏差向量中“高级特征表示”自动提取，根据网络输出的分类结果仍可以实现特征匹配功能。最后根据精确的匹配结果来估计几何变换矩阵的参数，从而实现图像拼接的过程。

为了说明本发明的可行性和正确性，仿真实验采用的是航天材料复合金属板样本，其含有超高速撞击产生缺陷。由本发明基于自优化匹配网络图像拼接算法的航天器缺陷检测方法对试件进行缺陷检测。

红外图像序列为362帧512×640的图像数据，对航天材料复合金属板样本进行四次红外热像仪拍摄，采集的红外图像序列用ICA算法处理，得到四张重构图像，分别记为A1,A2,A3,A4。

为检验本发明基于图像拼接的航天器缺陷检测方法性能和可行性，在matlab环境下实现了本发明，通过对两两含重叠区域重构图像进行拼接实验，以此来检验算法的性能。

图3为对四张重构图像进行特征点检测的结果图，采用FAST特征点检测算法进行特征点检测，分别检测到1954、1896、1972、1936个特征点，每张重构图像平均特征点检测时间为0.004633秒。在检测数量可观的特征点后，利用SURF算法对检测到的特征点进行描述，得到特征点的特征向量，依据特征点的特征向量，进行粗匹配和剔除误匹配点对，以A3和A4为例，得到的匹配结果分别如图4的(a)和(b)所示。粗匹配101对，剔除误匹配点对后正确匹配的匹配点对数量为52。

图5展示了A1到A4四幅重构图像完整的图像过程，最终的大范围全景拼接图像完整展现了缺陷信息，获得了缺陷的分布情况并可根据大范围全景拼接图像进行试件损伤程度的初步判断。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于自优化匹配网络图像拼接的航天器缺陷检测方法，其特征在于，包括以下步骤：

(1)、获取子区域重构图像

对航天器的一个大范围检测区域，由红外热像仪拍摄多个含重叠区域的红外视频流；

对每个获得的红外视频流进行采样得到一个红外图像序列，并将其视为输入的一个盲源信号，利用独立成分分析法(ICA算法)进行信号分离，获得突出各个缺陷信息的温度变化特征重构图像；

这样得到该大范围检测区域的各个子区域的温度变化特征重构图像；

(2)、特征点检测和描述

对包括重叠区域的子区域的温度变化特征重构图像I₁、I₂，采用FAST特征点检测算法进行特征点检测，利用SURF算法进行检测到的特征点进行描述，得到特征点的特征向量(维度为64维)，温度变化特征重构图像I₁的所有特征点的特征向量构成特征向量集合

T₁为温度变化特征重构图像I₁检测到的特征点数量，温度变化特征重构图像I₂的所有特征点的特征向量构成特征向量集合

T₂为温度变化特征重构图像I₂检测到的特征点数量；

(3)、粗匹配

依据欧式距离作为度量准则，对特征向量集合

中的特征向量进行双向的暴力匹配，得到一对一匹配结果的粗匹配点对集合{P_t′,Q′_t}，P_t′,、Q′_t为一对粗匹配点，t＝1,2,...,T为粗匹配点(特征向量)对的个数；

(4)、剔除误匹配点对

4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量V_t：

其中，P_t(r)和Q′_t(r)分别为粗匹配集合中第t个粗匹配点对的第r维；

4.2)、设置自优化匹配网络结构

自优化匹配网络包括三层：输入层的神经元个数s₁为64，与输入对象即偏差向量V_t的维度一致，隐藏层神经元个数s₂为32，利用自优化匹配网络去学习偏差向量V_t的”’压缩”’表示，输出端的神经元个数s₃为2，标记类别0和1；

相应的参数设置：最大迭代次数100，稀疏参数ρ＝0.05，在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为：

F(J,b)为自编码器代价函数，其中J为回归系数，描述各属性在预测中的重要性，b为线性回归中的常量；

对于隐含层的惩罚因子

表示隐藏神经元j的平均激活度，用于限制隐藏神经元的平均活跃度；

4.3)、训练自优化匹配网络

利用前期实验试件中两两温度变化特征重构图像的粗匹配集合构建偏差向量V_i′，i＝1,2,…k，k为粗匹配点(特征向量)对的个数为，构建集合A＝{V₁′,...,V′_k}，并作为无标签数据集训练自优化匹配网络中的稀疏自编码器；

将前期实验试件中两两温度变化特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对，将正确匹配点对标记为1，将剔除掉的错误匹配点对标记为0，构建集合

其中，c_i为分类标记，两特征向量错误匹配表示为0，两特征向量正确匹配表示为1，i＝1,2,…k，并作为有标签数据集，将其中的偏差向量V_i′，i＝1,2,…k，输入到训练后的稀疏自编码器，得到相应的编码向量Y_i′，从而得到分类器样本训练集

选择可实现简单的二分类功能的分类器(如SVM分类器)，用样本训练集

对其进行训练，得到一个输出为0或1标签的分类器，0表示两特征向量错误匹配，1表示两特征向量正确匹配，至此，自优化匹配网络训练完成；

4.4)、将偏差向量V_t输入到训练完成的自优化匹配网络中，首先在训练后的稀疏自编码器进行编码，得到编码向量Y_t，然后输入到分类器中，输出为0或1；

对于粗匹配点对集合{P_t′,Q′_t}，将分类器输出为1的对应粗匹配点对保留，将分类器输出为0的对应粗匹配点对剔除，得到匹配点对集合{P″_w,Q″_w}，w＝1,2,…W，W为匹配点(特征向量)对数量；

(5)、图像拼接

根据匹配点对集合{P″_w,Q″_w}中的匹配点对估计出几何变换矩阵H的参数，确定图像重叠区域，并依据几何变换矩阵H实现两幅重构图像I₁、I₂的拼接；

(6)、更新

将拼接图像作为温度变化特征重构图像I₁，与其(拼接图像)有重叠区域的子区域的重构图像作为温度变化特征重构图像I₂，返回步骤(2)，直到所有的温度变化特征重构图像完成拼接，得到航天器红外检测的大范围全景拼接图像，完成航天器缺陷的检测。

Images