CN112132802B - 一种基于自学习拼接算法的航天器撞击损伤检测方法 - Google Patents
一种基于自学习拼接算法的航天器撞击损伤检测方法 Download PDFInfo
- Publication number
- CN112132802B CN112132802B CN202010994424.XA CN202010994424A CN112132802B CN 112132802 B CN112132802 B CN 112132802B CN 202010994424 A CN202010994424 A CN 202010994424A CN 112132802 B CN112132802 B CN 112132802B
- Authority
- CN
- China
- Prior art keywords
- feature
- matching
- self
- image
- damage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于自学习拼接算法的航天器撞击损伤检测方法,首先基于温度变化特征分离出突显缺陷特征的损伤温度重构图像;然后采用SIFT特征点检测算法实现特征点的快速检测同时生成损伤温度特征向量,再利用PCA算法对损伤温度特征向量进行降维,提高算法速度;基于损伤温度特征向量的余弦值作为相似性度量,实现特征点的粗匹配;最后搭建自优化匹配优化网络,获得优化后的精确匹配点对集合,并估计出几何变换矩阵的参数,实现图像拼接。本发明实现对缺陷模式特征的自学习过程,实现对数据特征的进一步压缩提取,从而实现适应性和鲁棒性更强的优化匹配结果,使各检测区域的损伤温度重构图像有效融合,实现对航天器表面大范围的快速损伤检测和损伤程度的初步判断。
Description
技术领域
本发明属于缺陷检测技术领域,更为具体地讲,涉及一种基于自学习拼接算法的航天器撞击损伤检测方法。
背景技术
目前,流星体和轨道碎片可能引起的超高速撞击已成为航天器空间活动的主要威胁之一,并将对航天器产生更严重的影响,如表面的弹坑和嵌入杂质造成的内部缺陷。考虑到碎片撞击事件的随机性,撞击的影响程度是不确定的,会导致复杂多变的损伤模式,因此航天器潜在损伤的检测是一个重要的研究方向。
为了获得有效的航天器损伤检测和评估结果,需要对航天器整体或大范围局部区域进行原位无损检测。无损检测方法主要包括超声检测、磁粉检测和渗透检测等。利用上述方法进行检测,虽然具有检出率高、灵敏度高、缺陷显示直观等优点,但同时存在劳动强度大、检修周期长、效率低、成本高、环保性和安全性差等问题,相当程度制约了检测工作的开展和效率。
近年来,光脉冲热图像检测法作为一种无损检测新技术得到飞速发展。因其快速高效、低损耗、高安全性等特性,有效解决上述传统无损检测方法存在的劳动强度大、周期长、效率低、安全性差等问题,同时针对大体积的航天器作为检测对象,可实现大面积快速检测,节省人力物力。在光脉冲热图像检测系统中,利用脉冲激励控制光源对航天器大范围区域进行热辐射并用红外热像仪记录相应区域的温度场分布。对热辐射引起的表面温度场变化,损伤区域与正常表面区域会产生差异性,可通过对红外热图像序列的温度变化特征进行分析处理来重构出突显损伤区域的图像结果(损伤温度重构图像)。损伤温度重构图像不仅直观地呈现出检测区域的损伤分布,同时能反映出无法直接观测的近表面缺陷和碎片撞击造成的内部缺陷。
航天器体积庞大,表面结构复杂,在进行损伤检测时,单次检测范围有限,可能无法反映损伤的分布情况和检测区域内某些损伤的完整性状。针对损伤缺陷的定性和定量研究十分重要,但是初步地掌握检测区域内损伤分布情况和基本损伤程度也非常重要。
航天器在宇宙执行飞行任务的过程中可能受到来自空间碎片或微流星体的超高速撞击,造成在航天器的表面及亚表面产生多种多样的损伤模式,如表皮脱落、环形撞击坑、表面裂纹、内部凹陷、穿孔等。对于一些应用场景环境相对稳定的器件或者容器的缺陷检测中,如发动机、高压容器的缺陷检测,其产生的缺陷模式相对单一,分布相对单调。由于超高速撞击造成的损伤具有随机性和多变性,产生的损伤模式分布复杂,且可能在同一损伤处同时存在多种损伤模式,甚至可能产生未知的损伤模式,令相关研究人员无法人为的准确标定和评估。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于自学习拼接算法的航天器撞击损伤检测方法,实现适应性和鲁棒性更强的优化匹配结果,对缺陷进行准确标定和评估,使各检测区域的损伤温度重构图像有效融合,实现对航天器表面大范围的快速损伤检测和损伤程度的初步判断。
为实现上述发明目的,本发明基于自学习拼接算法的航天器撞击损伤检测方法,其特征在于,包括以下步骤:
(1)、获取子区域损伤温度重构图像
对航天器的一个大范围检测区域,由红外热像仪拍摄多个含重叠区域的红外视频流;
对每个获得的视频流进行采样得到一个红外图像序列,并将其视为输入的盲源信号,利用独立成分分析法(ICA算法)进行信号分离,获得突出各个缺陷信息的损伤温度重构图像;
这样得到该大范围检测区域的各个子区域的损伤温度重构图像;
(2)、特征点检测、描述以及降维
对包括重叠区域的子区域的损伤温度特征重构图像I1、I2,采用SIFT特征点检测算法进行特征点检测,得到特征点;然后构建特征点的特征描述,得到各个特征点的损伤温度特征向量;再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维,这样得到损伤温度特征重构图像I1的所有特征点的特征向量xm(维度为64维)构成特征向量集合M为损伤温度特征重构图像I1检测到的特征点数量,损伤温度特征重构图像I2的所有特征点的特征向量yn(维度为64维)构成特征向量集合N为温度变化特征重构图像I2检测到的特征点数量;
(3)、粗匹配
对于特征向量集合的特征向量xm,计算其与征向量集合中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN,然后,在余弦值dm1,dm2,....,dmN找到最大值dmg与次大值dmp,当:
则认为特征向量xm与特征向量yg相互匹配,为一粗匹配点对,其中,dthreshold为设定的阈值,根据具体情况确定,这样得到粗匹配点对集合其中,x′t,y′t为第t对粗匹配点对,T为粗匹配点(特征向量)对的个数;
(4)、剔除误匹配点对
4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt:
其中,x′t(r)和y′t(r)分别为粗匹配集合中第t对粗匹配点对的第r维;
4.2)、设置自优化匹配网络结构
自优化匹配网络包括三层:输入层的神经元个数s1为64,与输入对象即偏差向量Vt的维度一致,隐藏层神经元个数s2为32,利用自优化匹配网络去学习偏差向量Vt的”'压缩”'表示,输出端的神经元个数s3为2,标记类别0和1;
相应的参数设置:最大迭代次数100,稀疏参数ρ=0.05,在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为:
F(J,b)为自编码器代价函数,其中J为回归系数,描述各属性在预测中的重要性,b为线性回归中的常量,γ为影响系数;
隐含层的惩罚因子
4.3)、训练自优化匹配网络
利用前期实验试件中两两损伤温度特征重构图像的粗匹配集合构建偏差向量V′i,i=1,2,…k,k为粗匹配点(特征向量)对的个数,构建集合A={V′1,...,V′k},并作为无标签数据集训练自优化匹配网络中的稀疏自编码器;
将前期实验试件中两两损伤温度特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对,将正确匹配点对标记为1,将剔除掉的错误匹配点对标记为0,构建集合其中,ci为分类标记,两特征向量错误匹配表示为0,两特征向量正确匹配表示为1,i=1,2,…k,并作为有标签数据集,将其中的偏差向量Vi′,i=1,2,…k,输入到训练后的稀疏自编码器,得到相应的编码向量Y′i,从而得到分类器样本训练集
4.4)、将偏差向量Vt输入到训练完成的自优化匹配网络中,首先在训练后的稀疏自编码器进行编码,得到编码向量Zt,然后输入到分类器中,输出为0或1;
(5)、图像拼接
(6)、更新
将拼接图像作为损伤温度特征重构图像I1,与其(拼接图像)有重叠区域的子区域的重构图像作为温度变化特征重构图像I2,返回步骤(2),直到所有的温度变化特征重构图像完成拼接,得到航天器红外检测的大范围全景拼接图像,完成航天器缺陷的检测。
本发明的发明目的是这样实现的:
本发明基于自学习拼接算法的航天器撞击损伤检测方法,针对特殊的拼接对象和实时性检测需求,提出了快速准确的拼接方案。首先基于温度变化特征分离出突显缺陷特征的损伤温度重构图像;然后采用SIFT特征点检测算法实现特征点的快速检测同时生成损伤温度特征向量,保留了所提取特征点的旋转和尺度不变性,再利用PCA算法对损伤温度特征向量进行降维,提高算法速度;对含重叠区域的损伤温度特征重构图像I1、I2(参考图像和待配准图像)基于损伤温度特征向量的余弦值作为相似性度量,实现特征点的粗匹配;最后采用自学习算法搭建自优化匹配优化网络获得优化后的精确匹配点对集合,估计出几何变换矩阵的参数,实现图像拼接,得到拼接图像。最终的拼接图像为一个大范围检测区域的损伤温度重构图像,通过观察和分析该损伤温度重构图像即可实现对检测区域的损伤分布情况和整体损伤程度进行初步的判断,为接下来针对损伤部位的定位、轮廓提取和定量分析等细致研究奠下基础。
本发明针对获得的损伤温度重构图像,利用图像的易处理和直观性等优点,引入图像拼接技术实现对各个检测区域的损伤温度重构图像信息组合。其中,图像配准是图像拼接的关键技术之一,是图像拼接的基础。
基于特征点的配准方法是一种应用广泛、性能较好的方法,不仅能满足快速检测的要求,而且计算量小。传统经典的特征点提取算法,如SIFT和SURF,虽然有很好的旋转和尺度不变性,但是检测时间消耗很大,在整个无损检测系统,特征提取只是其中一个模块,如果特征提取算法没有很好地实现实时性,它将减少检测系统的整体性能。同时,红外重构图像作为本发明的特殊拼接对象,不同于自然的可见光图像,具有分辨率差,信噪比低等特点。对配准过程的特征提取和匹配均会产生较大的干扰。
本发明针对航天器可能受到的撞击程度的随机性和不确定性,导致的缺陷模式繁多,分布复杂且存在多种缺陷模式并存和出现未知模式的问题构建了自优化匹配网络,实现对缺陷模式特征的自学习过程,得到输入数据(偏差向量)的高级特征(编码向量)表示,实现对数据特征的进一步压缩提取,从而实现适应性和鲁棒性更强的优化匹配结果。对缺陷进行准确标定和评估,使各检测区域的损伤温度重构图像有效融合,实现对航天器表面大范围的快速损伤检测和损伤程度的初步判断。
传统的有监督学习和半监督学习方法均需要大量的有标签数据集,实现大量的人为标签数据耗时耗力且对于未知的损伤模式根本无法实现人为标注类型。利用自学习方法可以实现从大量无标签数据集中,自主学习到数据中的“高层特征表达”,实现对数据特征的进一步压缩提取,从而帮助我们更好地进行特征匹配。需要强调的是,在面对同时具有多种损伤模式的数据甚至未知数据时,自学习方法在完成网络训练后,仍能自主学习到各种损伤模式的高级特征并且实现精简的编码表示,进而优化特征匹配的过程。
附图说明
图1是本发明基于自学习拼接算法的航天器撞击损伤检测方法一种具体实施方式的流程图;
图2是ICA获取损伤温度重构图像的示意图;
图3是图1所示特征点检测、描述以及降维的流程图;
图4是SIFT算法中的图像梯度图;
图5是SIFT生成的特征点描述子图;
图6是对含重叠区域的四张损伤温度重构图像分别进行特征点检测结果图;
图7是特征点匹配结果图,其中,(a)为以余弦值为度量的粗匹配特征点对,(b)为剔除误匹配点对后的特征点对。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明基于自学习拼接算法的航天器撞击损伤检测方法一种具体实施方式的流程图。
在本实施例中,如图1所示,本发明基于自学习拼接算法的航天器撞击损伤检测方法包括以下步骤:
步骤S1:获取子区域损伤温度重构图像
对航天器的一个大范围检测区域,由红外热像仪拍摄多个含重叠区域的红外视频流;对每个获得的视频流进行采样得到一个红外图像序列,并将其视为输入的盲源信号,利用独立成分分析法(ICA算法)进行信号分离,获得突出各个缺陷信息的损伤温度重构图像;这样得到该大范围检测区域的各个子区域的损伤温度重构图像。
在本实施例中,首先用红外热像仪对航天器表面进行拍摄,保证拍摄的两相邻子区域包含30%左右的重叠区域。结合ICA数学模型和各缺陷区域的信号特征与热视频信号之间的关系,获得各子区域的损伤温度重构图像。
ICA的目标是从原始图像序列的盲源信号中分离出几个独立的分量(ICs)。对红外图像序列进行ICA处理获得损伤温度重构图像的具体步骤如下:
步骤S1.1:将红外图像序列向量化获得新矩阵:
首先,在红外检测系统中基础的ICA数学模型可被描述为:
Q′(t)表示预处理的红外图像序列,mi(i=1,2,3...,L)表示混合向量,描述红外图像序列第ith位置组成成分,L表示独立信号图像的个数,即要突显的损伤模式数量。P′i(t)表示在位置区域i时间为t维度为p×q时生成的重构图像。p和q由红外热像仪传感器决定,p=512,q=640。对Q′(t)进行采样离散化和分解得到新的矩阵,具体流程示意图如图2所示。
Q′(t)=[vec(Q(t)),vec(Q(t+1)),...,vec(Q(t+N-1))]T
新的损伤温度重构图像序列可以被表示为生成的独立信号的线性组合:
Q(t)=MP(t)
这里混合矩阵M=[m1,m2,...,mL],mi是第i个混合向量。
P(t)=[vec(P1(t)),vec(P2(t)),...,vec(PL(t))]T
假设L=N并且矩阵M满秩,这样我们可以得到另一个表达式:
P(t)=WQ(t),W=M-1
ICA算法相当于寻找使各损伤温度特征尽可能独立的线性变换,并对给定的训练数据最大化变换后的坐标的边缘密度,即:
这里pi(t)=vec(Pi(t)),Pr(·)是概率。
步骤S1.2:利用奇异值分解实现对Q(t)的PCA白化:
Q(t)T=UR×R∑R×NVT N×N
其中R=p×q,UR×R和VT N×N正交矩阵,∑R×N由奇异值组成,UR×R的列向量代表PCA基础向量。利用PCA方法实现降维,选择L≤N,即存在L个输入信息的最大主成分,UR×L的基础向量被对应的非零奇异值选中。主成分分析法得到的基向量只是不相关的,但在统计学上并不是独立的。
步骤S1.3:使用ICA算法得到独立信号图像:
将PCA基向量UR×L作为ICA中的观测值,即:
UT R×L=ML×LPL×R(t)
步骤S2:特征点检测、描述以及降维
对包括重叠区域的子区域的损伤温度特征重构图像I1、I2,采用SIFT特征点检测算法进行特征点检测,得到特征点;然后构建特征点的特征描述,得到各个特征点的损伤温度特征向量;再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维,这样得到伤温度特征重构图像I1的所有特征点的特征向量xm(维度为64维)构成特征向量集合M为损伤温度特征重构图像I1检测到的特征点数量,损伤温度特征重构图像I2的所有特征点的特征向量yn(维度为64维)构成特征向量集合N为温度变化特征重构图像I2检测到的特征点数量。
图3是图1所示特征点检测、描述以及降维的流程图。
在本实施例中,特征点检测、描述以及降维包括以下步骤:
步骤S2.1:构建高斯尺度空间
C(x,y,σ)=G(x,y,σ)×I(x,y) (1)
DOG(Difference of Gaussian)算子即两个不同尺度的高斯核的差分,如下式所示:
步骤S2.2:尺度空间特征点检测及定位
对于图像中的任何点,其DOG响应值可以通过直线和曲线连接,并且形成的轨迹图是图像的特征曲线,对于曲线上的极值点则表示为特征点的特征尺度,如极值点不唯一,则表明该特征点存在于多个尺度。由于DOG响应值对于边缘和噪声较为敏感,要对温度极值点进行三维二次函数拟合以精确定位为特征点,尺度空间函数O(x,y,σ)在局部极值点(x0,y0,σ)处的泰勒展开式如公式(3)所示。
等式(3)的一阶和二阶导数通过附近区域之间的差分来近似。其中X=(x,y,σ)T求导并让方程等于零,求得极值点为则对应极值点方程的值为:若则该特征点就保留下来,否则就移除,移除的则为低对比度的特征点。其中代表相对插值中心的偏移量同时,在此过程中获取特征点的精确位置(原位置加上拟合的偏移量)以及尺度大小。
步骤S2.3:去除不稳定的点
于此同时DOG算子会产生较强的边缘响应,需要剔除不稳定的边缘响应点。获取特征点处的Hessian矩阵,主曲率通过一个2x2的Hessian矩阵H求出:其中H的特征值α和β代表x和y方向的梯度,Tr(H)=Oxx+Oyy=α+β表示矩阵H对角线元素之和,Det(H)=OxxOyy-(Oxy)2=αβ表示矩阵H的行列式。假设是α较大的特征值,而是β较小的特征值,令α=rβ,则
步骤S2.4:确定特征点主方向
利用特征点邻域温度值的梯度方向分布特性为每个特征点指定方向参数,使算子具备旋转不变性。算式如下:
其中T(x,y)为特征点的梯度θ(x,y)的特征点的方向。C是用于每个特征点的尺度,(x,y)用于确定阶数与层数,在计算过程中,以特征点为中心的邻域窗口中对邻域进行采样,并且使用温度值梯度方向直方图来计算邻域温度单元的梯度方向。邻域梯度的主方向即为梯度方向直方图的峰值,使其为特征点的方向。
步骤S2.5:构建特征点的特征描述符(特征向量)
如图4所示首先将坐标轴旋转为特征点的方向,然后以特征点为中心取8×8的窗口,每一个小方格表示一个像素,以4×4的方块以一个单位,在8个方向的梯度方向直方图,计算每个梯度方向的累加和形成一个种子点如图5所示,实际计算时用16个种子点来表述特征点,因此每个特征点的特征描述符为128维。
步骤S2.6:使用PCA对特征向量降维
对于损伤温度特征重构图像的z个特征向量f1,f2,....,fz,将其构建一个z×128的矩阵F,并对矩阵F计算128×128的协方差矩阵S;
计算协方差矩阵S的128个特征值λ与特征向量,根据λ的从大到小进行排序;选择前64个特征值对应的特征向量构成128×64大小的投影矩阵E;将z×128的矩阵F与投影矩阵E相乘获得z×64的矩阵即降维特征向量组成的矩阵,此时z个特征点的特征向量均为64维。具体而言,对于损伤温度特征重构图像I1,得到M个特征点的特征向量xm(维度为64维)构成特征向量集合损伤温度特征重构图像I2,得到N个特征点的特征向量yn(维度为64维)构成特征向量集合
步骤S3:粗匹配
对于特征向量集合的特征向量xm,计算其与征向量集合中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN,然后,在余弦值dm1,dm2,....,dmN找到最大值dmg与次大值dmp,其中,g为最大值的序号,p为次大值的序号,当:
则认为特征向量xm与特征向量yg相互匹配,为一粗匹配点对,其中,dthreshold为设定的阈值,根据具体情况确定,这样得到粗匹配点对集合其中,x′t,y′t为第t对粗匹配点对,T为粗匹配点(特征向量)对的个数。
步骤S4:剔除误匹配点对(自优化匹配网络匹配)
传统特征匹配方法仅仅依据简单的几何关系度量两个特征向量的相似程度,很明显是不可取的,粗匹配的结果包含着错误匹配和正确匹配的特征点对。其中错误匹配点对对图像拼接的影响非常严重,轻则引起拼接结果的形变和扭曲,严重地会导致图像拼接的失败。
为实现从提取到的特征向量中提取更多有用信息,且能帮助特征匹配过程不断优化自身,对从各类缺陷模式提取到的特征向量粗匹配集均能自动适应,提取出准确匹配的特征点对集合,本发明将采用自学习的方法,对粗匹配对集合得到的数据进一步学习和分类,实现对特征匹配过程的自优化过程,得到准确的匹配点对集合。
步骤S4.1:构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt:
其中,x′t(r)和y′t(r)分别为粗匹配集合中第t对粗匹配点对的第r维;
步骤S4.2:设置自优化匹配网络结构
自优化匹配网络包括三层:输入层的神经元个数s1为64,与输入对象即偏差向量Vt的维度一致,隐藏层神经元个数s2为32,利用自优化匹配网络去学习偏差向量Vt的”'压缩”'表示,输出端的神经元个数s3为2,标记类别0和1;
相应的参数设置:最大迭代次数100,稀疏参数ρ=0.05,稀疏参数用于为了评价网络训练效果。
使用代价函数衡量模型预测出来的值与输入的真实值之间的差异。在本发明中,在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为:
F(J,b)为自编码器代价函数,其中J为回归系数,描述各属性在预测中的重要性,b为线性回归中的常量,γ为影响系数;
在本发明中,稀疏自编码器时使用的总体代价函数在自编码器代价函数基础上新增了对于隐含层的惩罚因子,对于隐含层的惩罚因子其表达式为:
步骤S4.3:训练自优化匹配网络
利用前期实验试件中两两损伤温度特征重构图像的粗匹配集合构建偏差向量V′i,i=1,2,…k,k为粗匹配点(特征向量)对的个数为,构建集合A={V′1,...,V′k},并作为无标签数据集训练自优化匹配网络中的稀疏自编码器;
将前期实验试件中两两损伤温度特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对,将正确匹配点对标记为1,将剔除掉的错误匹配点对标记为0,构建集合其中,ci为分类标记,两特征向量错误匹配表示为0,两特征向量正确匹配表示为1,i=1,2,…k,并作为有标签数据集,将其中的偏差向量V′i,i=1,2,…k,输入到训练后的稀疏自编码器,得到相应的编码向量Y′i,从而得到分类器样本训练集
步骤S4.4:将偏差向量Vt输入到训练完成的自优化匹配网络中,首先在训练后的稀疏自编码器进行编码,得到编码向量Zt,然后输入到分类器中,输出为0或1;
至此,自优化匹配网络模型搭建完毕。实际应用中,在对一对新的损伤温度重构图像进行特征匹配时,利用无标签的粗匹配结果构建特征差向量集作为网络的输入,利用训练好的自优化匹配网络中的稀疏编码器得到对特征差向量的高层特征表达,作为训练好的分类器的输入,进行匹配判断,输出结果为带0和1标签的数据集。0表示两特征向量错误匹配,1表示两特征向量正确匹配。最终保留所有输出标签为1的匹配点对集合
本发明搭建的自优化匹配网络模型,通过从包含一定数量的已知损伤模式的实验试件中提取特征向量,进行粗匹配进而构建特征差向量作为训练样本,利用网络中训练好的稀疏编码器可得到对特征差向量的高层特征表达,既实现了特征维度的减少,又能从特征差向量中自主学习到各缺陷模式特征的“高层表达”,便于分类器分类。在遇到未知损伤模式和多种损伤模式并存的情况下,该“高层表达”仍可实现对新的损伤模式的表征,从而保证特征匹配过程中的准确性。
步骤S5:图像拼接
步骤S6:更新
将拼接图像作为损伤温度特征重构图像I1,与其(拼接图像)有重叠区域的子区域的重构图像作为温度变化特征重构图像I2,返回步骤(2),直到所有的温度变化特征重构图像完成拼接,得到航天器红外检测的大范围全景拼接图像,完成航天器缺陷的检测。
本发明针对航天器体积庞大以及原位检测的需求,提供一种基于自学习拼接算法的航天器撞击损伤检测方法。本发明综合考虑图像拼接的速度和精度,首先对待拼接损伤温度重构图像使用PCA-SIFT算法进行特征提取。既保留SIFT特征描述向量的生成部分,也提高了算法的运算速度,保证了匹配过程的抗噪能力和对仿射变换、温差的鲁棒性。针对高维的特征描述向量,选择以余弦值为度量的粗匹配法保证匹配结果的速度和精度。传统特征匹配方法仅仅依据简单的几何关系度量两个高维特征向量的相似程度,使得粗匹配的结果包含着错误匹配和正确匹配的特征点对。其中错误匹配点对对图像拼接的影响非常严重,可能引起拼接结果的形变和扭曲,更严重地会导致图像拼接的失败。本发明针对损伤模式的多样性和未知性,构建自优化匹配网络模型。首先对PCA-SIFT方法提取到的特征向量进行粗匹配过程,再根据粗匹配得到的匹配点对的特征向量构建出相应维度的特征差向量,用来描述两个特征向量的相似程度。应用自学习的方法,将特征差向量作为输入,训练稀疏编码器,得到对特征差向量的“高层特征表达”,对输入向量进行特征提取和压缩得到精简且易分类的特征表示。训练一个可实现二分类功能的分类器,将粗匹配结果中正确匹配的结果标记为1,错误匹配结果标记为0。根据网络输出的分类结果可以实现特征匹配功能。最后根据精确的匹配结果来估计几何变换矩阵的参数,从而实现图像拼接的过程。
同时,本发明一种基于自学习拼接算法的航天器撞击损伤检测方法,还具有以下有益效果:
(1)、本发明进行拼接的对象来自于红外视频流损伤温度重构图像,该图像表述的是检测需要的损伤模式特征。
(2)、本发明对SIFT特征描述符进行降维,在保留特征点的主要特征信息的同时减少计算复杂度提高检测速度。
(3)、本发明使用了特征点向量余弦值大小的度量作为匹配方法从处理时间较一般的以欧式距离作为相似性度量的方法从运行速度上有一定的提高。
(4)、本发明应用自学习的方法,利用最终训练好的自优化匹配网络,可以自主地学习到输入数据中的“高层特征表达”,即使原检测区域的损伤模式改变或者出现未知的损伤模式,训练好的自优化匹配网络模型都可以实现对新输入数据中“高层特征表达”的自动提取,根据网络输出的分类结果仍可以实现准确的特征匹配功能。
为了说明本发明的可行性和正确性,仿真实验采用的是航天材料复合金属板样本,由本发明基于自学习拼接算法的航天器撞击损伤检测方法对试件进行缺陷检测。
对含有超高速撞击产生缺陷的试件进行四次红外热像仪拍摄,分别对获得的视频流进行采样,得到四个362帧512×640的红外图像序列,用ICA算法进行信号分离,获得突出各个缺陷信息的四张损伤温度重构图像,分别记为A1、A2、A3以及A4。
在matlab环境下实现了本发明的方法。图6是对含重叠区域的四张损伤温度重构图像分别进行特征点检测结果图,分别检测到1313、1146、1344、1284个特征点。在得到数量可观的特征点后,进行损伤温度特征向量并进行降维,采用本发明方法进行粗匹配和剔除误匹配点对过程,以A3和A4为例,得到的匹配结果分别如图7的(a)和(b)所示。初始粗匹配89对,剔除误匹配点对后正确匹配数量为51。
最后依据正确匹配的51个匹配点对估计出几何变换矩阵H的参数,确定图像重叠区域,并依据几何变换矩阵H实现两幅重构图像I1、I2的拼接。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于自学习拼接算法的航天器撞击损伤检测方法,其特征在于,包括以下步骤:
(1)、获取子区域损伤温度重构图像
对航天器的一个大范围检测区域,由红外热像仪拍摄多个含重叠区域的红外视频流;
对每个获得的视频流进行采样得到一个红外图像序列,并将其视为输入的盲源信号,利用独立成分分析法进行信号分离,获得突出各个缺陷信息的损伤温度重构图像;
这样得到该大范围检测区域的各个子区域的损伤温度重构图像;
(2)、特征点检测、描述以及降维
对包括重叠区域的子区域的损伤温度特征重构图像I1、I2,采用SIFT特征点检测算法进行特征点检测,得到特征点;然后构建特征点的特征描述,得到各个特征点的损伤温度特征向量;再利用PCA算法对检测到的特征点的损伤温度特征向量进行降维,这样得到损伤温度特征重构图像I1的所有特征点的特征向量xm构成特征向量集合M为损伤温度特征重构图像I1检测到的特征点数量,损伤温度特征重构图像I2的所有特征点的特征向量yn构成特征向量集合N为温度变化特征重构图像I2检测到的特征点数量;
(3)、粗匹配
对于特征向量集合的特征向量xm,计算其与征向量集合中所有特征向量yn的向量夹角的余弦值dm1,dm2,....,dmN,然后,在余弦值dm1,dm2,....,dmN找到最大值dmg与次大值dmp,当:
则认为特征向量xm与特征向量yg相互匹配,为一粗匹配点对,其中,dthreshold为设定的阈值,根据具体情况确定,这样得到粗匹配点对集合其中,xt′,yt′为第t对粗匹配点对,T为粗匹配点对的个数;
(4)、剔除误匹配点对
4.1)、构建衡量粗匹配点对集合中粗匹配点对相似程度的偏差向量Vt:
其中,x′t(r)和y′t(r)分别为粗匹配集合中第t对粗匹配点对的第r维;
4.2)、设置自优化匹配网络结构
自优化匹配网络包括三层:输入层的神经元个数s1为64,与输入对象即偏差向量Vt的维度一致,隐藏层神经元个数s2为32,利用自优化匹配网络去学习偏差向量Vt的“压缩”表示,输出端的神经元个数s3为2,标记类别0和1;
相应的参数设置:最大迭代次数100,稀疏参数ρ=0.05,在自优化匹配网络中训练稀疏自编码器时使用的总体代价函数为:
F(J,b)为自编码器代价函数,其中J为回归系数,描述各属性在预测中的重要性,b为线性回归中的常量,γ为影响系数;
对于隐含层的惩罚因子
4.3)、训练自优化匹配网络
利用前期实验试件中两两损伤温度特征重构图像的粗匹配集合构建偏差向量Vi′,i=1,2,…k,k为粗匹配点对的个数为,构建集合A={V1′,...,V′k},并作为无标签数据集训练自优化匹配网络中的稀疏自编码器;
将前期实验试件中两两损伤温度特征重构图像的粗匹配集合进行进一步迭代筛选出正确匹配点对,将正确匹配点对标记为1,将剔除掉的错误匹配点对标记为0,构建集合其中,ci为分类标记,两特征向量错误匹配表示为0,两特征向量正确匹配表示为1,i=1,2,…k,并作为有标签数据集,将其中的偏差向量Vi′,i=1,2,…k,输入到训练后的稀疏自编码器,得到相应的编码向量Yi′,从而得到分类器样本训练集
4.4)、将偏差向量Vt输入到训练完成的自优化匹配网络中,首先在训练后的稀疏自编码器进行编码,得到编码向量Zt,然后输入到分类器中,输出为0或1;
(5)、图像拼接
(6)、更新
将拼接图像作为损伤温度特征重构图像I1,与其有重叠区域的子区域的重构图像作为温度变化特征重构图像I2,返回步骤(2),直到所有的温度变化特征重构图像完成拼接,得到航天器红外检测的大范围全景拼接图像,完成航天器缺陷的检测。
2.根据权利要求1所述的基于自学习拼接算法的航天器撞击损伤检测方法,其特征在于,所述的利用PCA算法对检测到的特征点的损伤温度特征向量进行降维为:
对于损伤温度特征重构图像的z个特征向量f1,f2,....,fz,将其构建一个z×128的矩阵F,并对矩阵F计算128×128的协方差矩阵S;
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010461359 | 2020-05-27 | ||
CN2020104613594 | 2020-05-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132802A CN112132802A (zh) | 2020-12-25 |
CN112132802B true CN112132802B (zh) | 2022-06-14 |
Family
ID=73843059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010994424.XA Active CN112132802B (zh) | 2020-05-27 | 2020-09-21 | 一种基于自学习拼接算法的航天器撞击损伤检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132802B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627007B (zh) * | 2020-05-27 | 2022-06-14 | 电子科技大学 | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 |
CN112986329B (zh) * | 2021-02-07 | 2022-03-25 | 电子科技大学 | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 |
CN112907527B (zh) * | 2021-02-07 | 2022-09-06 | 电子科技大学 | 一种针对大尺寸曲面试件的红外热成像拼接检测方法 |
CN113613462B (zh) * | 2021-07-30 | 2023-06-09 | 上海德衡数据科技有限公司 | 一种数据中心散热方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451610A (zh) * | 2016-12-29 | 2017-12-08 | 北京理工大学 | 一种提高特征匹配精度的图像检测方法 |
CN107920723A (zh) * | 2015-06-26 | 2018-04-17 | 阿帕玛医疗公司 | 组织映射和可视化系统 |
CN109145362A (zh) * | 2018-07-02 | 2019-01-04 | 中国电力科学研究院有限公司 | 一种电网建模方法及系统 |
CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
CN110689485A (zh) * | 2019-10-14 | 2020-01-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
CN110706191A (zh) * | 2019-10-14 | 2020-01-17 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外图像拼接融合算法的高压容器检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
CN110294147B (zh) * | 2019-05-07 | 2020-07-28 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种空间碎片防护构型缓冲屏损伤评估方法 |
CN110298061B (zh) * | 2019-05-07 | 2023-06-27 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种多损伤特征重构的空间碎片防护构型损伤评估方法 |
CN110211103B (zh) * | 2019-05-23 | 2022-03-25 | 电子科技大学 | 基于红外热成像的信息熵加性模糊缺陷特征分析重构方法 |
-
2020
- 2020-09-21 CN CN202010994424.XA patent/CN112132802B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107920723A (zh) * | 2015-06-26 | 2018-04-17 | 阿帕玛医疗公司 | 组织映射和可视化系统 |
CN107451610A (zh) * | 2016-12-29 | 2017-12-08 | 北京理工大学 | 一种提高特征匹配精度的图像检测方法 |
CN109145362A (zh) * | 2018-07-02 | 2019-01-04 | 中国电力科学研究院有限公司 | 一种电网建模方法及系统 |
CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
CN110689485A (zh) * | 2019-10-14 | 2020-01-14 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
CN110706191A (zh) * | 2019-10-14 | 2020-01-17 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于红外图像拼接融合算法的高压容器检测方法 |
Non-Patent Citations (5)
Title |
---|
"Study on processing of infrared thermogram of ankle soft tissue injury with LDA based on DCT transform";Shuwang Chen等;《Conference on Optics in Health Care and Biomedical Optics IX Held at SPIE/COS Photonics Asia Conference》;20191023;第1-8页 * |
"应用于压力容器红外无损检测的SIFT图像拼接方法";杨晓等;《电子测量与仪器学报》;20191231;第33卷(第12期);第31-40页 * |
一种面向图像拼接的改进PCA-SIFT算法;杨炳坤等;《微电子学与计算机》;20181205(第12期);第70-75页 * |
基于改进SIFT特征点匹配的图像拼接算法研究;张勇等;《微电子学与计算机》;20160331(第03期);第60-64页 * |
面向图像复原的残差密集生成对抗网络新方法;李烨等;《小型微型计算机系统》;20200409(第04期);第830-836页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112132802A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132802B (zh) | 一种基于自学习拼接算法的航天器撞击损伤检测方法 | |
CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
Li et al. | Automatic pavement crack detection by multi-scale image fusion | |
CN112330538B (zh) | 一种基于特征点优化提取的损伤温度重构图像拼接方法 | |
Gong et al. | A spectral and spatial attention network for change detection in hyperspectral images | |
CN111627007B (zh) | 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法 | |
Li et al. | Unsupervised hyperspectral image change detection via deep learning self-generated credible labels | |
Kumar et al. | Deep remote sensing methods for methane detection in overhead hyperspectral imagery | |
Yang et al. | Hyperspectral image classification based on interactive transformer and CNN with multilevel feature fusion network | |
Ghamisi et al. | Anomaly detection in automated fibre placement: Learning with data limitations | |
Zhang et al. | Feature-band-based unsupervised hyperspectral underwater target detection near the coastline | |
CN106407975A (zh) | 基于空间‑光谱结构约束的多尺度分层目标检测方法 | |
Zhang et al. | Automatic detection for small-scale lunar impact crater using deep learning | |
Appice et al. | Empowering Change Vector Analysis with Autoencoding in Bi-temporal Hyperspectral Images. | |
Gupta et al. | Deep learning for morphological identification of extended radio galaxies using weak labels | |
Fritz et al. | Object recognition using local information content | |
CN101630369A (zh) | 一种基于小波分形特征的行人检测方法 | |
CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
Bhavatarini et al. | Object detection and classification of hyperspectral images using K-NN | |
CN114140524A (zh) | 一种多尺度特征融合的闭环检测系统及方法 | |
Zhang et al. | Movable object detection in remote sensing images via dynamic automatic learning | |
Zhang et al. | A Spectrum-Aware Transformer Network for Change Detection in Hyperspectral Imagery | |
Mahjoub et al. | Naive Bayesian fusion for action recognition from Kinect | |
Thiyagarajan | Performance Comparison of Hybrid CNN-SVM and CNN-XGBoost models in Concrete Crack Detection | |
CN110751189A (zh) | 一种基于感知对比度和特征选择的椭圆检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |