CN110706191B - 一种基于红外图像拼接融合算法的高压容器检测方法 - Google Patents

Abstract

本发明公开了一种基于红外图像拼接融合算法的高压容器检测方法，包括以下步骤：对高压容器表面进行数据采集；对所有列向量进行K‑means结合GMM算法处理，对视频流信号处理获得缺陷重构图像；对两两包括重叠区域的重构缺陷信息图像，采用FAST‑SURF算法进行特征提取并用双向FLANN算法进行粗匹配，采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程；针对拼接结果产生的缝隙以及亮度和色彩差异，采用基于亮度调整和距离加权的融合方法对拼接结果进行处理；得到对高压容器红外检测的全景拼接图像；本发明针对高压容器体积庞大以及原位检测的需求，提供一种基于红外图像拼接融合算法的高压容器检测方法，综合考虑了图像拼接的速度和精度。

Description

一种基于红外图像拼接融合算法的高压容器检测方法

技术领域

本发明属于红外无损检测技术领域，更具体地说，本发明涉及一种基于红外图像拼接融合算法的高压容器检测方法。

背景技术

高压容器广泛应用于航天航空工业中，例如运载火箭、空间站、风洞等设备的构造都离不开高压容器的使用。但由于设备建造时缺乏监督，质量存在隐忧，设备运行一段时间后，会出现不断发现裂纹、腐蚀泄漏的报告，随着时间的推移，这些高压容器运行出现安全问题的几率将不断增加，一旦任务期间出现安全问题，会造成灾难性后果，而各卫星发射基地和高密度试验任务又不能达到国际、国内工业企业那种基本的检验检测条件，国内外的所有先进的研究成果均难以直接运用于这些设备，因此，需要尽快开展这些设备检验检测专项试验研究，以解决在役定期检验检所面临的技术难题，确保检验检测的针对性和检验结果的可靠性，保障其安全运行。

基于无损检测(NDT&E)的红外热成像技术因其高效性，损耗低，安全性高等优势而应用广泛。红外热像仪检测试件拍摄的视频流信息无法很好提取，从而无法很好进行缺陷分类研究以及针对大视野试件全景图像拼接的研究，对视频流信息进行降维重构得到缺陷重构图像非常有实际应用价值。对红外热像仪拍摄到的多个视频流进行多帧采样处理，对每帧图像进行向量化重构出温度矩阵，矩阵的每一列向量即为原视频流对应的一像素点温度变化特征向量，采用聚类方法对所有列向量进行聚类，得到突出缺陷的几类温度变化特征向量。由于各类缺陷的温度变化差异可能不明显，以及一些缺陷边缘点可能会出现51％归属为缺陷类，49％归属为试件表面的情况，这样只采用传统聚类方法硬分类直接得到单纯的分类结果显然不够谨慎，风险过大。由于缺陷的性状复杂性，分布随机性等问题，很难得到大量的样本数据会分类器进行训练，同时缺乏足够的先验知识，因此难以人工标注类别，所以易采用无监督学习方式，先将所有样本自动分为不同的类别，再由测试人员对这些类别进行下一步标注。

同时，由于高压容器体积庞大、形状各异，单幅图像往往无法完全展示检测所需的全部信息，这时就需要应用到图像拼接技术，来得到全面直观的高压容器检测全景图。基于局部不变特征的匹配算法因其具有计算量小、鲁棒性强，对图像偏移、旋转、灰度亮度变化等都有较好的适应力的特点，成为了图像匹配算法研究的主流方向。高压容器表面分布的特征点比较难提取，传统基于特征点的特征检测法如SIFT,SURF计算复杂同时检测的特征点数量不够理想。同时该类算法提取到的特征具有尺度不变、旋转不变的特性，但对光照变化和仿射、透视变换具有部分不变性。所以单纯的采用上述匹配算法得到的图像拼接结果会受到拍摄角度和环境温度等因素的影响，产生明显的亮度差异和拼接缝隙。因此需要对拼接结果进行加权融合处理，得到有实际研究价值的融合结果图像。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于红外图像拼接融合算法的高压容器检测方法，包括：

步骤S1、对高压容器表面进行数据采集，获得视频流信号；

步骤S2、对所有列向量进行K-means结合GMM算法处理，对视频流信号处理获得缺陷重构图像；

步骤S3、对两两包括重叠区域的重构缺陷信息图像，采用FAST-SURF 算法进行特征提取并用双向FLANN算法进行粗匹配，接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程；

步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异，采用基于亮度调整和距离加权的融合方法对拼接结果进行处理；

步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3，得到对高压容器红外检测的全景拼接图像；

步骤S6、进行仿真实验，对试件进行缺陷检测。

优选的是，其中，所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为：

步骤S21、单帧图片向量化获得新矩阵；通过红外热成像无损检测，在压力容器上获得热视频，对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列，进行向量化，再将得到的每一列向量作为新矩阵的行向量进行合并，构建出新的二维矩阵U(n,m)，其中n为采样后的图像帧数，m＝a×b 为原视频采集窗口的分辨率；U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量；

步骤S22、使用K-means算法进行初始聚类；对所有像素点对应的温度变化特征向量U(:,m)聚集为k类，聚类中心为U(:,j₁),U(:,j₂),.....,U(:,j_K)， 1≤j₁...j_k≤m；具体的操作步骤包括：

步骤(a)、随机从U(:,m)选取k个温度变化特征向量 U(:,j₁′),U(:,j₂′),.....,U(:,j_K′)作为初始均值向量其对应的聚类每一个类型表示为 P₁′,P₂′,...,P_k′；

步骤(b)、计算U(:,m)与各聚类中心U(:,j₁′),U(:,j₂′),...,U(:,j_l′),...,U(:,j_k′)的距离 d_jl＝||U(:,m)-U(:,j_l′)||₂根据距离最近的均值向量确定U(:,m)的簇标记λ_lm＝argmin_{l∈1,2,...,k}||U(:,m)-U(:,j_l′)||₂，将样本划入相应的簇

步骤(c)、更新均值向量

其中|C_l|为样本簇C_l的样本总数；

步骤(d)、重复进行步骤(b)、(c)直到均值向量不再改变最终获得k类样本数据；

步骤S23、GMM细致迭代，获得分类结果；将原样本集U(:,m)表示为 U(:,m)＝{x₁,x₂,...,x_m}，令随机隐含变量z_j∈{1,2,...k}表示样本x_j的高斯混合成分，其中i,j(1≤i≤k,1≤j≤m)，具体的步骤为：

步骤一、对由K-means方法得到的初始分类结果的每一类，假设符合高斯分布，满足下式的概率密度函数：

利用常规的最大似然函数法可求取每一类的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}，将得到的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}作为高斯混合分布模型的初始值；这里φ_i是隐含变量z服从的先验分布，即混合系数，μ和∑分别是各个单高斯分布的均值和协方差；

步骤二、从原型聚类的角度来看，高斯混合聚类GMM是采用概率模型，即高斯分布，对原型进行刻画，簇划分由原型对应的后验概率确定，其表示为：

w_ji＝p(z_j＝i|x_j；φ,μ,∑)

w_ji为隐含变量z属于类别i的后验概率，其可以根据贝叶斯公式计算得到：

步骤三、通过循环迭代，按下式计算并更新模型参数直至满足算法终止条件；计算新混合系数的公式为；

计算新均值向量的公式为：

计算新协方差矩阵的公式为：

步骤四、利用最终得到的模型参数确定高斯混合分布，GMM聚类将样本集D划分为k个簇C＝{C₁,C₂,...C_k}，每个样本x_j的簇标记如下式确定：

将x_j划入相应的簇：

得到簇划分C＝{C₁,C₂,...C_k}；

步骤S24、选择每一簇中最大w_ji对应的x_j，即后验概率最大值对应的温度特征向量，按列合并构成n×k的线性变化矩阵Q，判断Q的秩rank(Q)是否满秩，即提取到的每一类的温度特征向量是否线性独立，若矩阵Q满秩，即各类特征向量线性独立，则对Q矩阵按每一列向量进行施密特正交化得到Q′；若r＝rank(Q)＜k，则将矩阵Q按列分块，求取极大线性无关组，将其他的k-r 个列向量逐个在原类中选取概率值次之的向量替换，再判断矩阵Q是否满秩并进行施密特正交化，最终得到m×k维正交独立的线性变化矩阵Q′；用矩阵Q′对二维矩阵U(n,m)进行线性变换，即O＝Q′*U(n,m),得到二维图像矩阵O，其中

为矩阵Q的k×n维伪逆矩阵；将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像；这k张图片都分别突出了各类缺陷信息，为方便后续图像拼接融合，选择缺陷信息与试件背景像素值差异最大的一张二维图像，记为I。

优选的是，其中，所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括：

采用FAST算法对图像进行特征点检测；通过选定图像中的任意一个像素点作为候选特征点，并以其为圆心构造一个圆形区域，检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较，设定阈值判断差值的大小以及满足大于等于阈值的差值的点数，来判断是否选定该候选点为特征点；

根据特征点周围的领域信息生成SURF描述子；SURF算法特征点描述首先需要确定每个关键点的主方向，然后沿主方向构造一个窗口领域，在窗口内提取用来描述关键点的特征向量。

优选的是，其中，所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括：通过FLANN算法找到缺陷重构图像I₁的某特征点a在图像I₂中具有最小距离的匹配点对(a，a*)，但单侧描述两幅图像特征点相似性，容易受噪声，温差等外界因素影响，出现错误匹配和多个点匹配到同一点的情况；采用双向匹配法确保匹配点对的唯一性原则，即两种匹配映射关系{p→q}和{q→p}，分别表示缺图像I₁到图像I₂的匹配集合和图像I₂到图像I₁的匹配集合，采用双向匹配最后获得的结果就是选取两个集合的交集。

优选的是，其中，所述步骤S3中采用MSAC算法剔除误匹配点对同时估计几何变换矩阵参数的基本 方法为：在RANSAC的基础上，MSAC对代价函数做出改进，表达式如下：

其中

表示第i个数据与理论值的差异，

作为数据误差权值，C为所求几何变换模型的整体误差，称为代价函数，在迭代过程结束后比较C的值，取最小值作为最佳模型；基本思想如下：随机地选择图像中两个点，就可以确定一条直线，将距离直线的一定拟合距离范围内的点称为这条直线的支撑，随机地进行重复次数的选择，然后将其中包含最多点数量的样本点集合拟合成直线，并将该拟合直线确定为具有最大支撑集的直线，在拟合距离范围内的点被划为内点，反之为外点；

设缺陷重构图像I₁和缺陷重构图像I₂中存在的一对正确匹配点为X和 X'，其所对应的齐次坐标变换为：

X'^TTX＝0

其中，T为3×3的矩阵，即几何变换矩阵；利用匹配点对的选取更换来不断迭代计算出T矩阵的所有参数，理论上，所有正确匹配点参与求解的T 矩阵才是最精确的变换矩阵，因此MSAC算法的目的就是找出所有的正确匹配点，获得最精确的几何变换矩阵。

优选的是，其中，所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括：首先根据图像重叠区域，利用重叠区域内像素值的参数来调整待拼接图像的亮度，具体方法如下：

对参考图像X中的每个像素点的RGB三通道进行加权求和，求得总的亮度值:

上式中，V₁是总的亮度值，X_iR X_iG X_iB为各个通道的像素值，ω₁，ω₂，ω₃是和为1的权重系数；同理对待配准图像同样处理求得V₂，将待配准图像乘以V₁/V₂的比值达到调整亮度的目的；

基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离，分别记为d₁和d₂，则合并后的像素值表示为：

上式中，I₁(x,y)和I₂(x,y)分别为重叠区域中两图像特征点对应的像素值， I(x,y)即为最后经过加权得到的新的像素点像素值。

优选的是，其中，所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3，直至最终得到对高压容器红外检测的全景拼接图像。

优选的是，其中，所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集，并且保证采集的两相邻局部区域包含30％左右的重叠区域。

本发明至少包括以下有益效果：本发明针对高压容器体积庞大以及原位检测的需求，提供一种基于红外图像拼接融合算法的高压容器检测方法。本发明综合考虑图像拼接的速度和精度，首先由于FAST算法在检测特征点方面具有快速和稳定的特性，用它来进行角点的检测，克服传统的SURF检测法提取特征点少，计算量大的问题，同时保留SURF特征描述子的生成部分，保证了匹配过程的抗噪能力和对仿射变换、温差的鲁棒性。同时选择双向FLANN匹配法保证匹配结果的精度。相比于传统RANSAC算法，采用考虑匹配内点权重的MSAC算法来提纯匹配点对的同时并估计出更为精准的几何变换矩阵。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明：

图1为本发明基于红外图像拼接融合算法的高压容器检测方法流程图；

图2为FAST-SURF算法分别在两缺陷重构图像中进行特征提取结果图；

图3是双向FLANN算法特征匹配结果图；

图4是MSAC算法进行剔除误匹配点对的结果图；

图5是未采用融合算法的直接拼接结果图；

图6是最终融合结果图。

具体实施方式：

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

如图1所示：本发明基于红外图像拼接融合算法的高压容器检测方法流程图所示，包括以下步骤：

步骤S1、对高压容器表面进行数据采集，获得视频流信号；

步骤S2、对所有列向量进行K-means结合GMM算法处理，对视频流信号处理获得缺陷重构图像；

步骤S3、对两两包括重叠区域的重构缺陷信息图像，采用FAST-SURF 算法进行特征提取并用双向FLANN算法进行粗匹配，接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程；

步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异，采用基于亮度调整和距离加权的融合方法对拼接结果进行处理；

步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3，得到对高压容器红外检测的全景拼接图像；

步骤S6、进行仿真实验，对试件进行缺陷检测。

在上述技术方案中，所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为：

步骤S21、单帧图片向量化获得新矩阵；通过红外热成像无损检测，在压力容器上获得热视频，对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列，进行向量化，再将得到的每一列向量作为新矩阵的行向量进行合并，构建出新的二维矩阵U(n,m)，其中n为采样后的图像帧数，m＝a×b 为原视频采集窗口的分辨率；U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量；

步骤S22、使用K-means算法进行初始聚类；对所有像素点对应的温度变化特征向量U(:,m)聚集为k类，聚类中心为U(:,j₁),U(:,j₂),.....,U(:,j_K)，1≤j₁...j_k≤m；具体的操作步骤包括：

步骤(a)、随机从U(:,m)选取k个温度变化特征向量 U(:,j₁′),U(:,j₂′),.....,U(:,j_K′)作为初始均值向量其对应的聚类每一个类型表示为 P₁′,P₂′,...,P_k′；

步骤(b)、计算U(:,m)与各聚类中心U(:,j₁′),U(:,j₂′),...,U(:,j_l′),...,U(:,j_k′)的距离 d_jl＝||U(:,m)-U(:,j_l′)||₂根据距离最近的均值向量确定U(:,m)的簇标记λ_lm＝argmin_{l∈1,2,...,k}||U(:,m)-U(:,j_l′)||₂，将样本划入相应的簇

步骤(c)、更新均值向量

其中|C_l|为样本簇C_l的样本总数；

步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变最终获得k类样本数据；

步骤S23、GMM细致迭代，获得分类结果；将原样本集U(:,m)表示为 U(:,m)＝{x₁,x₂,...,x_m}，令随机隐含变量z_j∈{1,2,...k}表示样本x_j的高斯混合成分，其中i,j(1≤i≤k,1≤j≤m)，具体的步骤为：

步骤一、对由K-means方法得到的初始分类结果的每一类，假设符合高斯分布，满足下式的概率密度函数：

利用常规的最大似然函数法可求取每一类的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}，将得到的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}作为高斯混合分布模型的初始值；这里φ_i是隐含变量z服从的先验分布，即混合系数，μ和∑分别是各个单高斯分布的均值和协方差；

步骤二、从原型聚类的角度来看，高斯混合聚类GMM是采用概率模型，即高斯分布，对原型进行刻画，簇划分由原型对应的后验概率确定，其表示为：

w_ji＝p(z_j＝i|x_j；φ,μ,∑)

w_ji为隐含变量z属于类别i的后验概率，其可以根据贝叶斯公式计算得到：

步骤三、通过循环迭代，按下式计算并更新模型参数直至满足算法终止条件；计算新混合系数的公式为；

计算新均值向量的公式为：

计算新协方差矩阵的公式为：

步骤四、利用最终得到的模型参数确定高斯混合分布，GMM聚类将样本集D划分为k个簇C＝{C₁,C₂,...C_k}，每个样本x_j的簇标记如下式确定：

将x_j划入相应的簇：

得到簇划分C＝{C₁,C₂,...C_k}；

步骤S24、选择每一簇中最大w_ji对应的x_j，即后验概率最大值对应的温度特征向量，按列合并构成n×k的线性变化矩阵Q，判断Q的秩rank(Q)是否满秩，即提取到的每一类的温度特征向量是否线性独立，若矩阵Q满秩，即各类特征向量线性独立，则对Q矩阵按每一列向量进行施密特正交化得到Q′；若r＝rank(Q)＜k，则将矩阵Q按列分块，求取极大线性无关组，将其他的k-r 个列向量逐个在原类中选取概率值次之的向量替换，再判断矩阵Q是否满秩并进行施密特正交化，最终得到m×k维正交独立的线性变化矩阵Q′；用矩阵Q′对二维矩阵U(n,m)进行线性变换，即O＝Q′*U(n,m),得到二维图像矩阵O，其中

为矩阵Q的k×n维伪逆矩阵；将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像；这k张图片都分别突出了各类缺陷信息，为方便后续图像拼接融合，选择缺陷信息与试件背景像素值差异最大的一张二维图像，记为I。

在上述技术方案中，所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括：

FAST-SURF算法主要分为特征点检测和特征点描述两个部分；本发明采用基于FAST的特征检测取代传统SURF特征检测过程，提高了特征提取数量和速度，FAST特征检测法利用特征点周围的图像灰度值来判断，非常简单又快速；采用FAST算法对图像进行特征点检测；通过选定图像中的任意一个像素点作为候选特征点，并以其为圆心构造一个圆形区域，检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较，设定阈值判断差值的大小以及满足大于等于阈值的差值的点数，来判断是否选定该候选点为特征点；

根据特征点周围的领域信息生成SURF描述子；SURF算法特征点描述首先需要确定每个关键点的主方向，然后沿主方向构造一个窗口领域，在窗口内提取用来描述关键点的特征向量。

在上述技术方案中，所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括：通过FLANN算法找到缺陷重构图像I₁的某特征点a在图像I₂中具有最小距离的匹配点对(a，a*)，但单侧描述两幅图像特征点相似性，容易受噪声，温差等外界因素影响，出现错误匹配和多个点匹配到同一点的情况；采用双向匹配法确保匹配点对的唯一性原则，即两种匹配映射关系{p→q}和{q→p}，分别表示缺图像I₁到图像I₂的匹配集合和图像I₂到图像I₁的匹配集合，采用双向匹配最后获得的结果就是选取两个集合的交集；双向FLANN匹配法获得的匹配点对数减少且精确，这在提高匹配速度和匹配精度方面起着重要的作用；同时由于FLANN算法本身计算速度快，双向匹配法通过牺牲少量的计算时间来提高匹配的正确率以及后续算法的速度。

在上述技术方案中，所述步骤S3中采用MSAC算法剔除误匹配点对同时估计几何变换矩阵参数的基本 方法为：在RANSAC的基础上，MSAC对代价函数做出改进，表达式如下：

其中

表示第i个数据与理论值的差异，

作为数据误差权值，C为所求几何变换模型的整体误差，称为代价函数，在迭代过程结束后比较C的值，取最小值作为最佳模型；相比于RANSAC二者运算量完全一致，但MSAC 考虑了内点的权重，所以准确度有所增加，收敛速度更快；基本思想如下：随机地选择图像中两个点，就可以确定一条直线，将距离直线的一定拟合距离范围内的点称为这条直线的支撑，随机地进行重复次数的选择，然后将其中包含最多点数量的样本点集合拟合成直线，并将该拟合直线确定为具有最大支撑集的直线，在拟合距离范围内的点被划为内点，反之为外点；

设缺陷重构图像I₁和缺陷重构图像I₂中存在的一对正确匹配点为X和 X'，其所对应的齐次坐标变换为：

X'^TTX＝0

其中，T为3×3的矩阵，即几何变换矩阵；利用匹配点对的选取更换来不断迭代计算出T矩阵的所有参数，理论上，所有正确匹配点参与求解的T 矩阵才是最精确的变换矩阵，因此MSAC算法的目的就是找出所有的正确匹配点，获得最精确的几何变换矩阵；MSAC(M-estimator Sample Consensus)算法是一种去外点搜索内点的方法，它利用特征点集的内在约束去除错误的匹配点对。对比更为基础的RANSAC算法，MSAC利用M估计对数据赋予权值，而不是简单的对内点赋零值，而忽略内点对模型估计的影响，这样所求模型的准确度进一步增加。

在上述技术方案中，所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括：首先根据图像重叠区域，利用重叠区域内像素值的参数来调整待拼接图像的亮度，图像融合结果期望获得的图像重叠区域能够平滑过渡并且融合后图像没有明显的接缝。为了有效减弱或消除拼接缝和亮度色差等现象，本发明先对亮度调整之后，再采用基于距离的加权平均融合算法实现基本无亮度差异以及明显拼接缝的融合结果，其具体方法如下：

对参考图像X中的每个像素点的RGB三通道进行加权求和，求得总的亮度值:

上式中，V₁是总的亮度值，X_iR X_iG X_iB为各个通道的像素值，ω₁，ω₂，ω₃是和为1的权重系数；同理对待配准图像同样处理求得V₂，将待配准图像乘以V₁/V₂的比值达到调整亮度的目的；

基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离，分别记为d₁和d₂，则合并后的像素值表示为：

上式中，I₁(x,y)和I₂(x,y)分别为重叠区域中两图像特征点对应的像素值， I(x,y)即为最后经过加权得到的新的像素点像素值。

在上述技术方案中，所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3，直至最终得到对高压容器红外检测的全景拼接图像。

在上述技术方案中，所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集，并且保证采集的两相邻局部区域包含30％左右的重叠区域。

为了说明本发明的可行性和正确性，仿真实验采用的是航天材料复合金属板样本，由本发明基于红外图像拼接融合算法的高压容器检测方法对九孔试件进行缺陷检测。

红外采集样本为362帧512×640的图像数据，对同一九孔试件进行两次红外采集数据后并用K-means和GMM算法处理，为检验本发明图像拼接融合算法性能和可行性，在matlab环境下实现了本文的算法，通过对两幅含重叠区域和由温差导致的色彩亮度差异的缺陷重构图像进行匹配实验，以此来检验算法的性能。

图2为采用本发明选用的FAST-SURF算法分别在两缺陷重构图像中进行特征提取结果图，分别提取到了1179个特征点和1063个特征点，这里为了便于观察，只显示了检测特征效果最明显的50个特征点效果图。在得到数量可观的特征点后，采用本发明方法进行粗匹配和对匹配点对提纯的过程，得到的结果分别如图3和图4所示。采用粗匹配法即双向FLANN算法得到245 对匹配点对，再用MSAC算法剔除误匹配得到162对匹配点对，使得匹配正确率得到了提高，同时提高了算法的稳定性，且保证了算法的实时性。剔除误匹配点对后获得的匹配点对数减少了33％，且提供了数量可观的内点数量以保证估计的变换矩阵参数的精确度，这对后续拼接以及图像融合算法中速度的提升以及最终的效果起着重要的作用。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种基于红外图像拼接融合算法的高压容器检测方法，其特征在于，包括以下步骤：

步骤S1、对高压容器表面进行数据采集，获得视频流；

步骤S2、对红外热像仪拍摄到的多个视频流经采样后的每一帧图像按列取值并排列，进行向量化，再将得到的每一列向量作为新矩阵的行向量进行合并，构建出温度矩阵，则温度矩阵的每一列向量即为原视频流对应像素点的温度变化特征向量；对温度矩阵的所有列向量进行K-means结合GMM算法处理，处理获得缺陷重构图像；

步骤S3、对两两包括重叠区域的重构缺陷信息图像，采用FAST-SURF算法进行特征提取并用双向FLANN算法进行粗匹配，接着采用MSAC算法对匹配点对提纯并估计几何变换模型实现图像配准过程；

步骤S4、针对拼接结果产生的缝隙以及亮度和色彩差异，采用基于亮度调整和距离加权的融合方法对拼接结果进行处理；

步骤S5、对融合结果与下一个含重叠区域的缺陷重构图像返回步骤S3，得到对高压容器红外检测的全景拼接图像；

步骤S6、进行仿真实验，对试件进行缺陷检测。

2.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S2对视频流信号处理获得缺陷重构图像的具体步骤为：

步骤S21、单帧图片向量化获得新矩阵；通过红外热成像无损检测，在压力容器上获得热视频，对得到的每个红外热视频流经采样后的每一帧图像按列取值并排列，进行向量化，再将得到的每一列向量作为新矩阵的行向量进行合并，构建出新的二维矩阵U(n,m)，其中n为采样后的图像帧数，m＝a×b为原视频采集窗口的分辨率；U(:,m)代表单幅图像中每个像素点对应的温度变化特征向量；

步骤S22、使用K-means算法进行初始聚类；对所有像素点对应的温度变化特征向量U(:,m)聚集为k类，聚类中心为U(:,j₁),U(:,j₂),.....,U(:,j_K)，1≤j₁...j_k≤m；具体的操作步骤包括：

步骤(a)、随机从U(:,m)选取k个温度变化特征向量U(:,j₁′),U(:,j₂′),.....,U(:,j_K′)作为初始均值向量，其对应的聚类每一个类型表示为P₁′,P₂′,...,P_k′；

步骤(b)、计算U(:,m)与各聚类中心U(:,j₁′),U(:,j₂′),...,U(:,j_l′),...,U(:,j_k′)的距离d_jl＝||U(:,m)-U(:,j_l′)||₂根据距离最近的均值向量确定U(:,m)的簇标记λ_lm＝argmin_{l∈1,2,...,k}||U(:,m)-U(:,j_l′)||₂，将样本划入相应的簇

步骤(c)、更新均值向量

其中|C_l|为样本簇C_l的样本总数；

步骤(d)、重复进行步骤(b)、步骤(c)直到均值向量不再改变最终获得k类样本数据；

步骤S23、GMM细致迭代，获得分类结果；将原样本集U(:,m)表示为U(:,m)＝{x₁,x₂,...,x_m}，令随机隐含变量z_j∈{1,2,...k}表示样本x_j的高斯混合成分，其中i,j，1≤i≤k,1≤j≤m，具体的步骤为：

步骤一、对由K-means方法得到的初始分类结果的每一类，假设符合高斯分布，满足下式的概率密度函数：

利用常规的最大似然函数法求取每一类的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}，将得到的模型参数{(φ_i,μ_i,∑_i)|1≤i≤k}作为高斯混合分布模型的初始值；这里φ_i是隐含变量z服从的先验分布，即混合系数，μ和∑分别是各个单高斯分布的均值和协方差；

步骤二、从原型聚类的角度来看，高斯混合聚类GMM是采用概率模型，即高斯分布，对原型进行刻画，簇划分由原型对应的后验概率确定，其表示为：

w_ji＝p(z_j＝i|x_j；φ,μ,∑)

w_ji为隐含变量z属于类别i的后验概率，其根据贝叶斯公式计算得到：

步骤三、通过循环迭代，按下式计算并更新模型参数直至满足算法终止条件；计算新混合系数的公式为；

计算新均值向量的公式为：

计算新协方差矩阵的公式为：

步骤四、利用最终得到的模型参数确定高斯混合分布，GMM聚类将样本集D划分为k个簇C＝{C₁,C₂,...C_k}，每个样本x_j的簇标记如下式确定：

将x_j划入相应的簇：

得到簇划分C＝{C₁,C₂,...C_k}；

步骤S24、选择每一簇中最大w_ji对应的x_j，即后验概率最大值对应的温度特征向量，按列合并构成n×k的线性变化矩阵Q，判断Q的秩rank(Q)是否满秩，即提取到的每一类的温度特征向量是否线性独立，若矩阵Q满秩，即各类特征向量线性独立，则对Q矩阵按每一列向量进行施密特正交化得到Q′；若r＝rank(Q)＜k，则将矩阵Q按列分块，求取极大线性无关组，将其他的k-r个列向量逐个在原类中选取概率值次之的向量替换，再判断矩阵Q是否满秩并进行施密特正交化，最终得到m×k维正交独立的线性变化矩阵Q′；用矩阵Q′对二维矩阵U(n,m)进行线性变换，即O＝Q′*U(n,m),得到二维图像矩阵O；将二维图像矩阵O再按列取值构成原热视频采集窗口a×b大小的二维图像；这k张图片都分别突出了各类缺陷信息，为方便后续图像拼接融合，选择缺陷信息与试件背景像素值差异最大的一张二维图像，记为I。

3.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S3中采用FAST-SURF算法对缺陷重构进行特征点提取的具体方法包括：

采用FAST算法对图像进行特征点检测；通过选定图像中的任意一个像素点作为候选特征点，并以其为圆心构造一个圆形区域，检测圆周上的像素灰度值并与该候选特征点的灰度值进行比较，设定阈值判断差值的大小以及满足大于等于阈值的差值的点数，来判断是否选定该候选点为特征点；

根据特征点周围的领域信息生成SURF描述子；SURF算法特征点描述首先需要确定每个关键点的主方向，然后沿主方向构造一个窗口领域，在窗口内提取用来描述关键点的特征向量。

4.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S3中采用双向FLANN匹配算法实现特征点对的粗匹配的具体方法包括：通过FLANN算法找到缺陷重构图像I₁的某特征点a在图像I₂中具有最小距离的匹配点对(a，a*)；采用双向匹配法确保匹配点对的唯一性原则，即两种匹配映射关系{p→q}和{q→p}，分别表示缺图像I₁到图像I₂的匹配集合和图像I₂到图像I₁的匹配集合，采用双向匹配最后获得的结果就是选取两个集合的交集。

5.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S3中采用MSAC算法剔除误匹配点对同时估计几何变换矩阵参数的基本方法为：在RANSAC的基础上，MSAC对代价函数做出改进，表达式如下：

其中

表示第i个数据与理论值的差异，

作为数据误差权值，C为所求几何变换模型的整体误差，称为代价函数，在迭代过程结束后比较C的值，取最小值作为最佳模型；

设缺陷重构图像I₁和缺陷重构图像I₂中存在的一对正确匹配点为X和X'，其所对应的齐次坐标变换为：

X'^ΤTX＝0

其中，T为3×3的矩阵，即几何变换矩阵；利用匹配点对的选取更换来不断迭代计算出T矩阵的所有参数。

6.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S4中采用基于亮度调整和距离加权的融合方法对拼接结果进行处理的具体方法包括：首先根据图像重叠区域，利用重叠区域内像素值的参数来调整待拼接图像的亮度，具体方法如下：

对参考图像X中的每个像素点的RGB三通道进行加权求和，求得总的亮度值:

上式中，V₁是总的亮度值，X_iR X_iG X_iB为各个通道的像素值，ω₁，ω₂，ω₃是和为1的权重系数；同理对待配准图像同样处理求得V₂，将待配准图像乘以V₁/V₂的比值达到调整亮度的目的；

基于距离的加权融合算法基本思路是根据重叠区域里的特征点到左右边界的距离，分别记为d₁和d₂，则合并后的像素值表示为：

上式中，I₁(x,y)和I₂(x,y)分别为重叠区域中两图像特征点对应的像素值，I(x,y)即为最后经过加权得到的新的像素点像素值。

7.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S5中对图像的拼接融合结构与下一个含重叠区域的缺陷重构图像返回至步骤S3，直至最终得到对高压容器红外检测的全景拼接图像。

8.如权利要求1所述的基于红外图像拼接融合算法的高压容器检测方法，其特征在于，所述步骤S1中使用红外热成像仪对高压容器表面进行数据采集，并且保证采集的两相邻局部区域包含30％左右的重叠区域。

Images