CN114926719A - 一种基于超图低秩表示的复杂动态系统感知特征融合方法 - Google Patents

Abstract

本发明提供了一种基于超图低秩表示的复杂动态系统感知特征融合方法，属于复杂动态系统感知研究技术领域。本发明通过在潜在低秩表示算法中添加超图拉普拉斯正则项来获取感知模态数据高阶关系，能够有效地把握不同模态数据间的高阶关系及互补性信息，潜在低秩表示有效的去噪能力避免了无效信息干扰，从而更好地提升复杂动态系统的数据分析决策能力；同时，对获取的多模态数据进行了特征融合后再传递，降低了相互间的通讯传输成本。

Description

一种基于超图低秩表示的复杂动态系统感知特征融合方法

技术领域

本发明属于复杂动态系统感知研究技术领域，具体涉及一种基于超图低秩表示的复杂动态系统感知特征融合方法。

背景技术

在基于多智能体的复杂动态系统研究中，感知层面一直是数据通讯处理的重要节点，因此，如何有效的利用感知层面获得的多模态信息，使其尽可能多的降低通讯成本并能有效的辅助决策是一个研究的重点。目前，一个有效的解决办法是特征融合，即将获取到的多模态信息进行融合后传输，这样可以有效的降低通讯代价。

在复杂动态系统智能感知方面，当前工作主要围绕多智能体协同感知进行研究，根据研究方法的不同大致可分为三类：一类是合并迭代最近点并使用扩展卡尔曼滤波器融合进行感知；第二类是通过因子图融合实现感知；第三类是基于超图的感知。然而，前两种方法未充分表示出复杂系统中多智能体间的高阶关系，而基于超图的方法尽管能够提高复杂动态系统中感知对象的表达能力，但是仍然没有突破基于统计与动态线性化的建模思想框架，对感知数据进行单模态建模，不能反演复杂对象的真实规律。同时由于复杂动态系统中感知到的数据具有非线性、动态、随机特征，当有新数据感知和融合时，会严重制约数据质量和数据分析结果。此外，未知环境随时间动态变化，多智能体间需多回合交互进行信息感知，使得感知模型在未知场景产生了极高的通讯代价。

因此，针对以上问题，设计一种能够有效利用多种模态感知信息，捕获其潜在的复杂(如高阶非线性特征)关系，通过特征融合的方式减低通讯成本并将其应用于多智能体的复杂动态系统决策研究，具有重大的意义。

发明内容

针对现有基于超图的感知特征融合存在的问题，本发明提供一种基于超图低秩表示的复杂动态系统感知特征融合方法，通过在潜在低秩表示算法中添加超图拉普拉斯正则项来获取感知模态数据高阶关系，具体优势如下：1)超图构造了不同的感知模态数据高阶关系；2)采用潜在低秩表示算法可以有效的挖掘感知信息中的潜在子空间信息，同时降低噪声数据的负面影响；3)对感知信息进行特征融合后传递，降低通讯代价。

本发明针对上述技术问题提出的技术方案如下：

一种基于超图低秩表示的复杂动态系统感知特征融合方法，包括以下步骤：

步骤一，使用智能体中常用的红外传感器和可见光传感器采集的图像数据作为主要融合对象，使用国际公共数据TNO数据集，其链接为https：//figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029。针对两种不同模态的信息，构造两个超图，并计算每个超图的相关矩阵H^(m)，其中m表示不同模态的图像，m＝1，2，分别表示红外图像和可见光图像。

步骤二，将超图相关矩阵串联，求取统一的超图拉普拉斯矩阵。

步骤三，将得到的超图拉普拉斯矩阵构造正则项，并引入到潜在低秩表示模型框架中，得到高阶超拉普拉斯潜在低秩表示模型。

步骤四，对高阶超拉普拉斯潜在低秩表示模型使用自适应惩罚线性化交替方向方法(LADMAP)迭代求解，得到不同模态图像的基础部分(X₁Z₁和X₂Z₂)和显著部分(L₁X₁和L₂X₂)，同时对噪声部分(E₁，E₂)进行舍弃。

步骤五，将高阶超拉普拉斯潜在低秩表示模型分解后的基础部分图像F_a1＝X₁Z₁和F_a2＝X₂Z₂进行融合，得到基础部分融合图像F_a。

步骤六，将高阶超拉普拉斯潜在低秩表示模型分解后的显著部分图像F_b1＝L₁X₁和F_b2＝L₂X₂进行融合，得到显著性部分融合图像F_b。

步骤七，将F_a和F_b进行融合，得到最终融合图像F。

所述步骤一中，构造超图的方法具体步骤如下：

对于每种模态m的特征描述，构造每个超图G^(m)＝(v^(m)，ε^(m)，w^(m))，m＝1，2；其中v^(m)表示顶点集，数据集中的每个样本对应超图中的一个顶点；ε^(m)表示超边集，在该超图中，依次以每个顶点为中心，找到与其最近的k个点构建对应的超边，每条超边对应一个中心点，且每条超边链接k个顶点；w^(m)表示超边的权重值集合，每个超边的权重用w(e_j)表示。超图G^(m)的相关矩阵

N表示超图G的顶点数，等价于N＝|v|；N_e表示超边的总数，等价于N_e＝|ε|。H^(m)中的元素h_ij表示顶点v_i是否与超边e_j中的顶点连接，计算公式如下：

分别使用如下公式计算超图中顶点的度

和超边的度

所述步骤二，具体过程如下：

设D_v是包含顶点度的对角矩阵，D_e为超边度的对角矩阵，W为超边权值的对角矩阵，同时将获得的超图相关矩阵使用串联的方式拼接在一起，即

这极大地拓宽了特征空间，从而得到更加丰富的特征表示。然后求取统一的超图拉普拉斯矩阵L，计算公式如下：

其中，

表示

的转置矩阵，I为单位矩阵。

所述步骤三的具体过程如下：

将超图拉普拉斯正则项引入潜在低秩表示模型框架中，根据超图的定义，使同一超边内的数据点对应的低秩系数彼此相似，用

对每个超边e内给定数据点之间的成对距离的总和进行加权。高阶拉普拉斯正则化潜在低秩表示模型形式为：

st.X＝XZ+TZ+E

最后，通过代数运算，得到矩阵形式的高阶拉普拉斯正则化潜在低秩表示(High-order Laplacian regularizationLatLRR)模型：

st.X＝XZ+TZ+E

其中，X表示源图像，Z表示图像的低秩矩阵，T表示图像的显著性矩阵，E表示图像的噪声部分，||Z||_*表示Z的核范数，||T||_*表示T的核范数；||E||_2，1表示分别对红外图像的噪声部分和可见光的噪声部分进行L_2，1范数正则化约束；Z′表示Z的转置矩阵，γ为平衡噪声参数，β为超图拉普拉斯正则化平衡系数；L表示求得的超拉普拉斯矩阵。γ和β为经验值，在一个示意性实施例中，γ和β的取值范围均为[0.001，0.01，0.1，1，10，100]，优选，γ和β均等于0.1。

由上式，在经过分解处理后，得到每幅图像的基础部分X_mZ_m、显著部分L_mX_m和噪声部分E_m；其中m＝1，2，表示红外图像和可见光数据。在融合处理中，只采用分解得到的基础部分和显著部分信息，对分离的噪声部分进行舍弃。

所述步骤四中，高阶超拉普拉斯正则化潜在低秩表示模型的优化求解步骤如下：

4.1采用LADMAP优化算法进行优化，构造目标函数的增广拉格朗日函数：

其中，

为F范数的平方，用来约束误差；<Y，X-XZ-TZ+E>表示tr(Y′*(X-XZ-TZ+E))；μ＞0是惩罚参数；Y为拉格朗日乘子，在其他变量不变的情况下，通过最小化增广拉格朗日函数交替更新变量。

4.2按照如下条件迭代交替更新各个变量，直至满足收敛条件：

其中，η₁为逼近项参数，取值如下所示：

更新拉格朗日乘子Y：

Y^k+1＝Y^k+μ_k(X-XZ_k+1-T_k+1X-E_k+1)

更新惩罚参数μ：

μ_k+1＝min(μ_max，ρμ_k)

优选，u₀＝10^-6，u_max＝10¹⁰。

ρ为迭代步长，优选，ρ＝1.9。

进一步地，所述收敛条件满足；

max{η₁||Z_k+1-Z_k||，η₁||T_k+1-T_k||，μ_k||E_k+1-E_k||}＜ε₂

其中，ε为预设值，优选ε₁＝10^-6，ε₂＝10^-5。

在本发明实施例中，可将Z、T、E、Y的初始值均设置为0。

所述步骤五中，采用多尺度分解对得到的F_a1＝X₁Z₁和F_a2＝X₂Z₂进行深度特征提取并进行融合，得到基础部分融合图像F_a。具体步骤如下：

5.1使用非下采样轮廓波变换(NSCT)对得到的基础部分进行分解，得到了高频子带U_m和低频子带O_m；其中m表示不同模态的图像，m＝1，2，分别表示红外图像和可见光图像。

5.2高频子带包含了输入图像丰富的边缘和纹理细节信息，选取最大选择策略进行融合，具体方程如下：

其中，p为方向子带数；l为尺度数；

为融合后的高频图像；

和

为l尺度上第j个方向子带的高频元素，选取其中绝对值大的元素作为最终融合元素，并对得到的

和

进行求和策略，得到最终的融合高频元素

5.3由NSCT分解得到的低频子带拥有主要的轮廓、背景等信息，低频系数融合策略为加权平均求均值。首先对两幅图像的低频分量使用3×3的窗口模块K进行加权，然后再对加权平均后的系数求均值得到低频融合系数。具体计算公式如下：

其中，O^F

O^F(x，y)为融合后的低频图像；O¹(x，y)为红外低频图像元素；O²(x，y)为可见光低频图像元素。

5.4在U^F和O^F上进行相应的逆NSCT变换，重建得到最终的基础部分融合图像F_a。

所述步骤六中，采用加权求和策略对F_b1＝L₁X₁和F_b2＝L₂X₂进行融合，得到显著性部分融合图像F_b＝F_b1+F_b2。

所述步骤七中，采用加权求和策略将F_a和F_b进行融合，得到最终融合图像F＝F_a+F_b。

本发明的有益效果：相比其他基于超图的感知特征融合模型，通过本发明设计的基于超图的潜在低秩表示算法模型在能够有效地把握不同模态数据间的高阶关系及互补性信息，潜在低秩表示有效的去噪能力避免了无效信息干扰，从而更好地提升复杂动态系统的数据分析决策能力。同时，对获取的多模态数据进行了特征融合后再传递，降低了相互间的通讯传输成本。

附图说明

图1为本发明实施例提供的基于超图低秩表示的复杂动态系统感知特征融合方法的流程示意图。

图2为本发明实施例提供的高阶拉普拉斯正则化潜在低秩表示算法流程示意图。

图3为采用本发明实施例提供的基于超图低秩表示的复杂动态系统感知特征的多模态融合方法得到的融合图像图；其中(a)表示红外传感器获得的红外图，(b)表示可见光传感器获得的可见光图，(c)表示经过特征融合后的融合图。

具体实施方式

下面结合附图以及技术方案对本发明实例做进步的详细说明。

本发明的具体步骤如下：

如图1，为本发明基于超图低秩表示的复杂动态系统感知特征融合方法的流程示意图，该算法由智能体传感器收集到的红外可见光图像作为数据输入，根据不同的模态信息构建超图群组，并将获得的超图进行矩阵串联，求解一个统一的拉普拉斯矩阵。并将其应用于潜在低秩表示中，对不同的模态的数据进行分解，然后采用相应的融合策略进行特征融合。

如图2中所示，本发明提供一种高阶拉普拉斯正则化潜在低秩表示方法，具体包括以下步骤：

步骤一，针对两种不同模态的信息，构造两个超图，并计算每个超图的相关矩阵H^(m)，m＝1，2。超图构造方法具体如下：

对于每种模态m的特征描述，构造每个超图G^(m)＝(v^(m)，ε^(m)，w^(m))，m＝1，2；其中v^(m)表示顶点集，数据集中的每个样本对应超图中的一个顶点；ε^(m)表示超边集，在该超图中，依次以每个顶点为中心，找到与其最近的k个点构建对应的超边，每条超边对应一个中心点，且每条超边链接k个顶点；w^(m)表示超边的权重值集合，每个超边的权重用w(e_j)表示。超图G^(m)的相关矩阵

N表示超图G的顶点数，等价于N＝|v|；N_e表示超边的总数，等价于N_e＝|ε|。H^(m)中的元素h_ij表示顶点v_i是否与超边e_j中的顶点连接，计算公式如下：

分别使用如下公式计算超图中顶点的度

和超边的度

步骤二，将获得的超图相关矩阵使用串联的方式拼接在一起，即

这极大地拓宽了特征空间，从而得到更加丰富的特征表示。然后求取统一的超图拉普拉斯矩阵：

其中，I为单位矩阵；W是对角矩阵，其对角线上的元素为超边的权重。

步骤三，将得到的超图拉普拉斯矩阵构造正则项，并引入到潜在低秩表示模型框架中，得到高阶超拉普拉斯潜在低秩表示模型。具体过程如下：

将超图拉普拉斯正则项引入潜在低秩表示模型框架中，根据超图的定义，使同一超边内的数据点对应的低秩系数彼此相似，用

对每个超边e内给定数据点之间的成对距离的总和进行加权。高阶拉普拉斯正则化潜在低秩表示模型形式为：

st.X＝XZ+TZ+E

最后，通过代数运算，得到矩阵形式的高阶拉普拉斯正则化潜在低秩表示(High-order Laplacian regularizationLatLRR)模型：

st.X＝XZ+TZ+E

其中，X表示源图像，Z表示图像的低秩矩阵，T表示图像的显著性矩阵，E表示图像的噪声部分，||Z||_*表示Z的核范数，||T||_*表示T的核范数；||E||_2，1表示分别对红外图像的噪声部分和可见光的噪声部分进行L_2，1范数正则化约束；Z′表示Z的转置矩阵，γ为平衡噪声参数，β为超图拉普拉斯正则化平衡系数；L表示求得的超拉普拉斯矩阵。γ和β为经验值，在一个示意性实施例中，γ和β的取值范围均为[0.001，0.01，0.1，1，10，100]，优选，γ和β均等于0.1。

由上式，在经过分解处理后，可得到每幅图像的基础部分X_mZ_m、显著部分L_mX_m和噪声部分E_m，m＝1，2，表示红外图像和可见光数据。在融合处理中，我们只采用分解得到的基础部分和显著部分信息，对分离的噪声部分进行舍弃。

步骤四，对高阶超拉普拉斯潜在低秩表示模型使用自适应惩罚线性化交替方向方法(LADMAP)迭代求解，得到不同模态图像的基础部分(X₁Z₁和X₂Z₂)和显著部分(L₁X₁和L₂X₂)，同时对噪声部分(E₁，E₂)进行舍弃。

4.1采用LADMAP优化算法进行优化，构造目标函数的增广拉格朗日函数：

其中，

为F范数的平方，用来约束误差；<Y，X-XZ-TZ+E>表示tr(Y′*(X-XZ-TZ+E))；μ＞0是惩罚参数；Y为拉格朗日乘子，在其他变量不变的情况下，通过最小化增广拉格朗日函数交替更新变量。

4.2按照如下条件迭代交替更新各个变量，直至满足收敛条件：

首先，固定其它变量更新Z：

Z_k+1的闭式解可使用奇异值分解(SVD)分解，由此得到的闭式解为

其中，

为Z_k的梯度；η₁为逼近项参数，必须要大于0且尽可能的小。L′、X′分别为L、X的转置矩阵。

4.3固定其他变量，使用Z_k+1更新T

同理，可以用SVD分解求得闭式解为

4.4更新E

使用Z_k+1，T_k+1更新E_k

求得闭式解为

4.5更新拉格朗日乘子Y

使用迭代后的Z_k+1，T_k+1，E_k+1进行更新，其解为

Y^k+1＝Y^k+μ_k(X-XZ_k+1-T_k+1X-E_k+1)

4.6更新惩罚参数μ

μ_k+1＝min(μ_max，ρμ_k)

在本发明实施例中，u₀＝10^-6，u_max＝10¹⁰。

在本发明实施例中，ρ＝1.9。

4.7在本发明实施例中，所述收敛条件满足：

max{η₁||Z_k+1-Z_k||，η₁||T_k+1-T_k||，μ_k||E_k+1-E_k||}＜ε₂其中，ε为预设值，ε₁＝10^-6，ε₂＝10^-5；将Z、T、E、Y的初始值均设置为0。

步骤五，将高阶超拉普拉斯潜在低秩表示模型分解后的基础部分图像F_a1＝X₁Z₁和F_a2＝X₂Z₂进行深度特征提取并进行融合，得到基础部分融合图像F_a。

5.1使用非下采样轮廓波变换(NSCT)对得到的基础部分进行分解，得到了高频子带U_m和低频子带O_m；其中m表示不同模态的图像，m＝1，2，分别表示红外图像和可见光图像。

5.2高频子带包含了输入图像丰富的边缘和纹理细节信息，选取最大选择策略进行融合，具体方程如下：

其中，p为方向子带数；l为尺度数；

为融合后的高频图像；

和

为l尺度上第j个方向子带的高频元素，选取其中绝对值大的元素作为最终融合元素，并对得到的

和

进行求和策略，得到最终的融合高频元素

5.3由NSCT分解得到的低频子带拥有主要的轮廓、背景等信息，低频系数融合策略为加权平均求均值。首先对两幅图像的低频分量使用3×3的窗口模块K进行加权，然后再对加权平均后的系数求均值得到低频融合系数。具体计算公式如下：

其中，O^F

O^F(x，y)为融合后的低频图像。O¹(x，y)为红外低频图像元素；O²(x，y)为可见光低频图像元素。

5.4在U^F和O^F上进行相应的逆NSCT变换，重建得到最终的基础部分融合图像F_a。

步骤六，将高阶超拉普拉斯潜在低秩表示模型分解后的显著部分图像F_b1＝L₁X₁和F_b2＝L₂X₂进行融合，得到显著性部分融合图像F_b。

在本发明实施例中，采用加权求和策略进行图像融合，即F_b＝F_b1+F_b2。

步骤七，将F_a和F_b进行融合，得到最终融合图像F。

在本发明实施例中，采用加权求和策略进行图像融合，即F＝F_a+F_b。

图3为融合结果图，其中，其中(a)表示红外传感器获得的红外图，大小为15.3kb；(b)表示可见光传感器获得的可见光图大小为20.1kb；(c)表示经过特征融合后的融合图，大小为15kb。融合图像清晰度高、层次鲜明，场景中的显著区域、目标相对更加突出，且质量更小。

本发明对复杂动态系统感知的多模态数据特征进行融合，既能够发现不同模态数据之间的高阶关系，又能够对数据进行去噪处理，同时对特征进行融合后传送，降低了智能体之间的通讯代价，为超图低秩学习技术在复杂动态系统感知领域的应用提供了理论依据和实践经验。

Claims (9)

1.一种基于超图低秩表示的复杂动态系统感知特征融合方法，其特征在于，该方法包括以下步骤：

步骤一，使用智能体中红外传感器和可见光传感器采集的图像数据作为主要融合对象，使用国际公共数据TNO数据集；针对两种不同模态的信息，构造两个超图，并计算每个超图的相关矩阵H^(m)，其中m表示不同模态的图像，m＝1，2，分别表示红外图像和可见光图像；

步骤二，将超图相关矩阵串联，求取统一的超图拉普拉斯矩阵；

步骤三，将得到的超图拉普拉斯矩阵构造正则项，并引入到潜在低秩表示模型框架中，得到高阶超拉普拉斯潜在低秩表示模型；

步骤四，对高阶超拉普拉斯潜在低秩表示模型使用自适应惩罚线性化交替方向方法迭代求解，得到不同模态图像的基础部分X_mZ_m和显著部分L_mX_m，同时对噪声部分E_m进行舍弃；

步骤五，将高阶超拉普拉斯潜在低秩表示模型分解后的基础部分图像F_a1＝X₁Z₁和F_a2＝X₂Z₂进行融合，得到基础部分融合图像F_a；

步骤六，将高阶超拉普拉斯潜在低秩表示模型分解后的显著部分图像F_b1＝L₁X₁和F_b2＝L₂X₂进行融合，得到显著性部分融合图像F_b；

步骤七，将F_a和F_b进行融合，得到最终融合图像F。

2.根据权利要求1所述的方法，其特征在于，所述步骤一中，构造超图的方法如下：

对于每种模态m的特征描述，构造每个超图G^(m)＝(v^(m)，ε^(m)，w^(m))，m＝1，2；其中v^(m)表示顶点集，数据集中的每个样本对应超图中的一个顶点；ε^(m)表示超边集，在该超图中，依次以每个顶点为中心，找到与其最近的k个点构建对应的超边，每条超边对应一个中心点，且每条超边链接k个顶点；w^(m)表示超边的权重值集合，每个超边的权重用w(e_j)表示；超图G^(m)的相关矩阵

N表示超图G的顶点数，等价于N＝|v|；N_e表示超边的总数，等价于N_e＝|ε|；H^(m)中的元素h_ij表示顶点v_i是否与超边e_j中的顶点连接，计算公式如下：

分别使用如下公式计算超图中顶点的度d(v_i)和超边的度d(e_j)：

3.根据权利要求1或2所述的方法，其特征在于，所述步骤二的具体过程如下：

设D_v是包含顶点度的对角矩阵，D_e为超边度的对角矩阵，W为超边权值的对角矩阵，同时将获得的超图相关矩阵使用串联的方式拼接在一起，即

然后求取统一的超图拉普拉斯矩阵L，计算公式如下：

其中，

表示

的转置矩阵，I为单位矩阵。

4.根据权利要求1或2所述的方法，其特征在于，所述步骤三的具体过程如下：

将超图拉普拉斯正则项引入潜在低秩表示模型框架中，根据超图的定义，使同一超边内的数据点对应的低秩系数彼此相似，用

对每个超边e内给定数据点之间的成对距离的总和进行加权；高阶拉普拉斯正则化潜在低秩表示模型形式为：

最后，通过代数运算，得到矩阵形式的高阶拉普拉斯正则化潜在低秩表示模型：

其中，X表示源图像，Z表示图像的低秩矩阵，T表示图像的显著性矩阵，E表示图像的噪声部分，||Z||_*表示Z的核范数，||T||_*表示T的核范数；||E||_2，1表示分别对红外图像的噪声部分和可见光的噪声部分进行L_2，1范数正则化约束；Z′表示Z的转置矩阵，γ为平衡噪声参数，β为超图拉普拉斯正则化平衡系数；L表示求得的超拉普拉斯矩阵；γ和β为经验值，γ和β的取值范围均为[0.001，0.01，0.1，1，10，100]；

由上式，在经过分解处理后，得到每幅图像的基础部分X_mZ_m、显著部分L_mX_m和噪声部分E_m；在融合处理中，只采用分解得到的基础部分和显著部分信息，对分离的噪声部分进行舍弃。

5.根据权利要求3所述的方法，其特征在于，所述步骤三的具体过程如下：

将超图拉普拉斯正则项引入潜在低秩表示模型框架中，根据超图的定义，使同一超边内的数据点对应的低秩系数彼此相似，用

对每个超边e内给定数据点之间的成对距离的总和进行加权；高阶拉普拉斯正则化潜在低秩表示模型形式为：

最后，通过代数运算，得到矩阵形式的高阶拉普拉斯正则化潜在低秩表示模型：

其中，X表示源图像，Z表示图像的低秩矩阵，T表示图像的显著性矩阵，E表示图像的噪声部分，||Z||_*表示Z的核范数，||T||_*表示T的核范数；||E||_2，1表示分别对红外图像的噪声部分和可见光的噪声部分进行L_2，1范数正则化约束；Z′表示Z的转置矩阵，γ为平衡噪声参数，β为超图拉普拉斯正则化平衡系数；L表示求得的超拉普拉斯矩阵；γ和β为经验值，γ和β的取值范围均为[0.001，0.01，0.1，1，10，100]；

由上式，在经过分解处理后，得到每幅图像的基础部分X_mZ_m、显著部分L_mX_m和噪声部分E_m；在融合处理中，只采用分解得到的基础部分和显著部分信息，对分离的噪声部分进行舍弃。

6.根据权利要求1、2或5所述的方法，其特征在于，所述步骤四中，高阶超拉普拉斯正则化潜在低秩表示模型的优化求解步骤如下：

4.1采用LADMAP优化算法进行优化，构造目标函数的增广拉格朗日函数：

其中，

为F范数的平方，用来约束误差；<Y，S-SZ-TZ+E>表示tr(Y′*(X-XZ-TZ+E))；μ＞0是惩罚参数；Y为拉格朗日乘子，在其他变量不变的情况下，通过最小化增广拉格朗日函数交替更新变量；

4.2按照如下条件迭代交替更新各个变量，直至满足收敛条件：

其中，η₁为逼近项参数，取值如下所示：

更新拉格朗日乘子Y：

Y^k+1＝Y^k+μ_k(X-XZ_k+1-T_k+1X-E_k+1)

更新惩罚参数μ：

μ_k+1＝min(μ_max，ρμ_k)

ρ为迭代步长；

所述收敛条件满足：

其中，ε₁和ε₂为预设值。

7.根据权利要求1、2或5所述的方法，其特征在于，所述步骤五的具体步骤如下：

5.1使用非下采样轮廓波变换NSCT对得到的基础部分进行分解，得到了高频子带U_m和低频子带O_m；

5.2高频子带包含了输入图像丰富的边缘和纹理细节信息，选取最大选择策略进行融合，具体方程如下：

其中，p为方向子带数；l为尺度数；

为融合后的高频图像；

和

为l尺度上第j个方向子带的高频元素，选取其中绝对值大的元素作为最终融合元素，并对得到的

和

进行求和策略，得到最终的融合高频元素

5.3由NSCT分解得到的低频子带拥有包括主要的轮廓、背景在内的信息，低频系数融合策略为加权平均求均值；首先对两幅图像的低频分量使用3×3的窗口模块K进行加权，然后再对加权平均后的系数求均值得到低频融合系数，具体计算公式如下：

其中，

为融合后的低频图像；O¹(x，y)为红外低频图像元素；O²(x，y)为可见光低频图像元素；

5.4在U^F和O^F上进行相应的逆NSCT变换，重建得到最终的基础部分融合图像F_a。

8.根据权利要求1、2或5所述的方法，其特征在于，所述步骤六和步骤七中，均采用加权求和策略进行图像融合。

9.根据权利要求7所述的方法，其特征在于，所述步骤四中，u₀＝10^-6，u_max＝10¹⁰；ρ＝1.9；ε₁＝10^-6，ε₂＝10^-5；Z、T、E、Y的初始值均设置为0。

Images