CN112561842A - 基于字典学习的多源受损图像融合与恢复联合实现方法 - Google Patents

Abstract

本发明涉及基于字典学习的多源受损图像融合与恢复联合实现方法，属于图像处理技术领域。本发明包括步骤：收集多张无损图像，构建训练集；设计字典学习模型训练样本集，得到低秩字典和稀疏字典；确定图像分解模型，优化目标函数，得到图像的低秩编码系数矩阵和稀疏编码系数矩阵；通过l₁范数最大系数融合规则，确定低秩融合编码系数矩阵和稀疏融合编码系数矩阵；根据低秩字典和稀疏字典、低秩融合编码系数矩阵和稀疏融合编码系数矩阵，获得最终融合图像。本发明大量的实验结果表明，利用该方法实现图像融合和恢复时，在视觉质量和客观评价上均能取得良好效果。

Description

基于字典学习的多源受损图像融合与恢复联合实现方法

技术领域

本发明涉及基于字典学习的多源受损图像融合与恢复联合实现方法，属于图像处理技术领域。

背景技术

图像融合是通过特定算法合成同一场景的多个图像的互补信息，最终生成一幅能更准确描述场景信息的单个图像。

融合方法大致可以分为：像素级图像融合、特征级图像融合和决策级图像融合。像素级融合是最基本也是最常用的融合，融合结果细节信息较丰富，有利于进一步处理。基于像素级图像融合方法分为三类：空间域图像融合方法、变换域图像融合方法以及其他方法。基于空间域融合方法大多用于多聚焦图像融合。基于变换域图像融合方法包括三个步骤：(1)将图像变换到新空间；(2)在新空间进行融合；(3)将融合结果逆变换回原空间。常用方法有：基于离散小波变换的图像融合、基于非下采样轮廓波变换的图像融合和基于曲线波变换的图像融合等。神经网络模型既不属于变换域也不属于空间域，但在图像融合领域有着广泛应用。

以上所提融合方法均主要集中在无损图像融合上，对于缺陷图像的融合涉及较少。在图像获取过程中，由于受到外界因素影响，获取的图像可能会丢失部分信息。利用现有融合方法融合像素缺失图像，融合结果仍然会存在像素缺失，从而限制了融合结果的进一步应用。因此，研究缺陷图像融合具有重要的现实意义。缺陷图像的恢复实质是矩阵完备问题，即，如何根据其低秩结构恢复出包括缺失元素在内完整矩阵。该问题的现有解决方法是分步进行图像融合和图像恢复。即，首先恢复要融合的受损图像再融合，或者先融合受损图像再恢复融合结果。但是，分步操作将不可避免地把在第一步中生成的干扰传播到下一步操作中，干扰传播会显著降低融合与恢复图像质量。若同时执行图像融合和恢复，应该可以较大幅度提高融合与恢复图像的质量。

发明内容

本发明提供了基于字典学习的多源受损图像融合与恢复联合实现方法，以用于获得无损高质量融合图像。

本发明的技术方案是：基于字典学习的多源受损图像融合与恢复联合实现方法，

所述方法包括：

Step1、收集多张多源细节信息丰富的无损图像(包括医学图像、风景图像和人物图像)，构建训练集；

Step2、设计字典学习模型训练样本集，得到低秩字典和稀疏字典；

Step3、确定图像分解模型，优化目标函数，得到图像的低秩编码系数矩阵和稀疏编码系数矩阵；

Step4、通过l₁范数最大系数融合规则，确定低秩融合编码系数矩阵和稀疏融合编码系数矩阵；

Step5、根据Step2得到的低秩字典和稀疏字典、Step4得到的低秩融合编码系数矩阵和稀疏融合编码系数矩阵，获得最终融合图像。

作为本发明的进一步方案，所述Step1，以大小为

的滑动窗口将训练集分割成N个图像块构建成训练样本集，记为Y，W为正实数。

作为本发明的进一步方案，所述Step2中，字典学习模型如下：

其中Y是由N个图像块构成的训练样本集，Y＝[y₁,y₂.....y_N]∈R^W，y_i∈R^W(i＝1,2,...N)是训练样本y的第i个图像块大小为

拉成的列向量；D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典，Z_l∈R^K×N和Z_s∈R^K×N是低秩系数与稀疏系数，K、N、W均表示正整数，λ₁、λ₂、λ₃、λ₄是平衡参数，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2,1表示l_2,1范数。

作为本发明的进一步方案，所述Step3包括以下步骤：

Step3.1图像分解模型为：

其中，τ、β_i(i＝1,2,3,4)是正则化参数，X＝[x₁,x₂,...x_P]∈R^W×P,x_i(i＝1,2,....P)是第i个像素丢失图像块；A_l＝[a_l,1,a_l,2,...,a_l,p]∈R^K×P、A_s＝[a_s,1,a_s,2,...,a_s,p]∈R^K×P分别是完整图像X的低秩、稀疏编码系数矩阵，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2,1表示l_2,1范数，D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典；W为表示正整数，

是训练样本y的第i个图像块大小，P_Ω是正交算子，P_ΩM表示一个整体为像素丢失矩阵，K、P均表示正整数分别是完整图像X的低秩、稀疏编码系数矩阵的行数和列数；l，s分别用于区分是低秩部分还是稀疏部分；

Step3.2引入辅助变量X_l＝D_lA_l、X_s＝D_sA_s，则公式(2)变为公式(3)：

Step3.3采用交替迭代算法，求最优解：

更新X时，固定X_l、X_s不变，目标函数如下：

更新X_l时，固定X、X_s不变，目标函数如下：

其中

I_W是

单位阵；

同理，更新X_s时，固定X、X_l不变，目标函数如下：

其中

在更新后的X,X_l,X_s基础上，更新低秩、稀疏编码系数矩阵A_l,A_s：

作为本发明的进一步方案，所述Step4中，l₁范数最大系数融合规则如下：

其中，c∈[l,s]，l，s，分别用于区分是低秩部分还是稀疏部分，L是待融合图像数量，每幅图像被分割成大小为

的P块图像块，

是第j幅图像的第i个图像块的低秩编码系数矩阵和稀疏编码系数矩阵，

第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

作为本发明的进一步方案，所述Step5，融合图像为：

其中，D_l、D_s分别表示低秩字典和稀疏字典，

分别为低秩融合编码系数矩阵和稀疏融合编码系数矩阵，

表示第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

本发明的有益效果是：

(1)本发明提出了一种低秩稀疏字典学习模型；

(2)设计了一种有效地图像分解和恢复模型，该模型可以同时实现多源受损图像融合及恢复，从而避免干扰传播；

(3)大量的实验结果表明，该方法可以同时进行多源受损图像融合和恢复，在视觉质量和客观评价上均能取得良好的效果。

附图说明

图1为本发明中的流程图；

图2为本发明中字典训练样本图像集；

图3为本发明待融合多源受损图像；其中，(a)-(b)为一组受损医学图像，(c)-(d)为一组受损红外可见光图像，(e)-(f)为一组受损多聚焦图像；

图4为本发明与其他四种实验对受损医学图像、受损红外可见光图像及受损多聚焦图像融合结果示意图；其中，(a)-(e)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损医学图像的融合结果；(f)-(j)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损红外可见光图像的融合结果；(k)-(o)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损多聚焦图像的融合结果。

具体实施方式

实施例1：如图1-3所示，基于字典学习的多源受损图像融合与恢复联合实现方

法，所述方法包括：

Step1、收集多张多源细节信息丰富的无损图像，如图2所示，本发明收集8张图像，包括医学图像、风景图像和人物图像，以大小为

的滑动窗口将训练集分割成N个图像块构建成训练样本集，记为Y，W为正实数；

Step2、设计字典学习模型训练样本集，得到D_l和稀疏字典D_s；字典学习模型如下：

其中Y是由N个图像块构成的训练样本集，Y＝[y₁,y₂.....y_N]∈R^W，y_i∈R^W(i＝1,2,...N)是训练样本y的第i个图像块大小为

拉成的列向量；D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典，Z_l∈R^K×N和Z_s∈R^K×N是低秩系数与稀疏系数，K、N、W均表示正整数，λ₁、λ₂、λ₃、λ₄是平衡参数，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2,1表示l_2,1范数。

Step3、输入待融合受损图像(如图3所示)，按照

大小滑动窗口从待融合图像中分别采集N个图像块X，每个图像块可以分解成低秩成分X_l和稀疏成分X_s，利用图像分解模型对目标函数X、X_l和X_s求解，得到图像的低秩编码系数矩阵A_l和稀疏编码系数矩阵A_s确定图像分解模型；

Step3.1图像分解模型为：

其中，τ、β_i(i＝1,2,3,4)是正则化参数，τ＝0.1、β₁＝0.1、β₂＝0.00001、β₃＝0.1、β₄＝0.00001，X＝[x₁,x₂,...x_P]∈R^W×P,x_i(i＝1,2,....P)是第i个像素丢失图像块；A_l＝[a_l,1,a_l,2,...,a_l,p]∈R^K×P、A_s＝[a_s,1,a_s,2,...,a_s,p]∈R^K×P分别是完整图像X的低秩、稀疏编码系数矩阵，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2,1表示l_2,1范数，D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典；W为表示正整数，

是训练样本y的第i个图像块大小，P_Ω是正交算子，P_ΩM表示一个整体为像素丢失矩阵，K、P均表示正整数分别是完整图像X的低秩、稀疏编码系数矩阵的行数和列数；l，s分别用于区分是低秩部分还是稀疏部分；

Step3.2引入辅助变量X_l＝D_lA_l、X_s＝D_sA_s，则公式(2)变为公式(3)：

Step3.3采用交替迭代算法，求最优解：

更新X时，固定X_l、X_s不变，目标函数如下：

更新X_l时，固定X、X_s不变，目标函数如下：

其中

I_W是

单位阵；

同理，更新X_s时，固定X、X_l不变，目标函数如下：

其中

在更新后的X,X_l,X_s基础上，更新低秩、稀疏编码系数矩阵A_l,A_s：

Step4、通过l₁范数最大系数融合规则，确定低秩融合编码系数矩阵和稀疏融合编码系数矩阵；

l₁范数最大系数融合规则如下：

其中，c∈[l,s]，l，s，分别用于区分是低秩部分还是稀疏部分，L是待融合图像数量，每幅图像被分割成大小为

的P块图像块，

是第j幅图像的第i个图像块的低秩编码系数矩阵和稀疏编码系数矩阵，

第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

Step5、根据Step2得到的低秩字典和稀疏字典、Step4得到的低秩融合编码系数矩阵和稀疏融合编码系数矩阵，得到融合图像的低秩成分

稀疏成分

最终得到最终融合图像。

融合图像为：

其中，D_l、D_s分别表示低秩字典和稀疏字典，

分别为低秩融合编码系数矩阵和稀疏融合编码系数矩阵，

表示第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

为测试本文所提方法性能，将本发明方法与图像恢复和图像融合分步处理的结果进行比较，即SVT-U2F、SVT-KSVD、TNNR-APGL-U2F、TNNR-APGL-KSVD。采用Q_NCIE、Q_MI、Q_C、Q_CB、Q_std、Q_ent 6个客观评价指标来衡量图像融合的结果。Q_NCIE为非线性相关信息熵，定义了融合结果和源图像间的相关性。Q_MI为互信息，可以度量融合结果所含有的源图像中的信息量。Q_C用于测量融合结果和源图像间结构相似度。Q_CB为以人类感知为基础的融合结果与源图像的相似度测量。Q_std是测量融合图像标准差，标准差越大灰度级分步越分散，视觉效果越好。Q_ent是信息熵，反映图像平均信息量多少。上这些指标的值越大表明相应算法的图像处理结果越好。

表1，表2和表3给出了受损医学图像、受损红外可见光图像和受损多聚焦图像恢复-融合结果客观评价指标，从数据可以看出，在受损医学图像和受损红外可见光图像两组融合实验中，本发明所得结果Q_CB指标较低但与最优值相差较小，其他数据均具有最好的客观评价值，说明融合图像从源图像中转移信息量相对较多，表明了本发明针对受损医学图像和受损红外可见光图像实验具有不错的融合结果。在受损红外可见光图像融合实验中，从指标评价结果可以看出，本发明融合结果保留的源图像结构信息能力一般，但本发明提出的方法在其他指标中都明显优于其他方法，结合图4(k)-(o)视觉效果也好于其他方法，这表明了本发明对受损多聚焦图像仍具有不错的融合结果。

表1不同方法对受损医学图像实验结果的客观评价

表2不同方法对受损红外与可见光图像实验结果的客观评价

表3不同方法对受损多聚焦图像实验结果的客观评价

图4为本发明与其他四种实验对受损医学图像、受损红外可见光图像及受损多聚焦图像融合结果示意图；其中，(a)-(e)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损医学图像的融合结果；(f)-(j)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损红外可见光图像的融合结果；(k)-(o)为恢复和融合分步处理算法SVT-U2F、SVT-KSVD、TNNR-U2F、TNNR-KSVD和本文的方法对受损多聚焦图像的融合结果；

从图4中很明显看出，其他四种方法融合结果亮度偏低，细节不清晰，且红外可见光图像及多聚焦图像融合结果仍是受损状态。相对比下，本发明既保持了源图像亮度信息，也保留了源图像边缘信息和结构信息，因而本发明所产生的视觉效果更好。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于，所述方法包括：

Step1、收集多张无损图像，构建训练集；

Step2、设计字典学习模型训练样本集，得到低秩字典和稀疏字典；

Step3、确定图像分解模型，优化目标函数，得到图像的低秩编码系数矩阵和稀疏编码系数矩阵；

Step4、通过l₁范数最大系数融合规则，确定低秩融合编码系数矩阵和稀疏融合编码系数矩阵；

Step5、根据Step2得到的低秩字典和稀疏字典、Step4得到的低秩融合编码系数矩阵和稀疏融合编码系数矩阵，获得最终融合图像。

2.根据权利要求1所述的基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于：所述Step1，以大小为

的滑动窗口将训练集分割成N个图像块构建成训练样本集，记为Y，W为正实数。

3.根据权利要求1所述的基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于：所述Step2中，字典学习模型如下：

其中Y是由N个图像块构成的训练样本集，Y＝[y₁，y₂.....y_N]∈R^W，y_i∈R^W(i＝1，2，...N)是训练样本y的第i个图像块大小为

拉成的列向量；D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典，Z_l∈R^K×N和Z_s∈R^K×N是低秩系数与稀疏系数，K、N、W均表示正整数，λ₁、λ₂、λ₃、λ₄是平衡参数，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2，1表示l_2，1范数。

4.根据权利要求1所述的基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于：所述Step3包括以下步骤：

Step3.1图像分解模型为：

其中，τ、β_i(i＝1，2，3，4)是正则化参数，X＝[x₁，x₂，...x_P]∈R^W×P，x_i(i＝1，2，....P)是第i个像素丢失图像块；A_l＝[a_l，1，a_l，2，...，a_l，p]∈R^K×P、A_s＝[a_s，1，a_s，2，...，a_s，p]∈R^K×P分别是完整图像X的低秩、稀疏编码系数矩阵，||·||_F表示F范数，

表示F范数平方，||·||_*表示核范数，||·||₁表示l₁范数，||·||_2，1表示l_2，1范数，D_l∈R^W×K、D_s∈R^W×K分别表示低秩字典和稀疏字典；W为表示正整数，

是训练样本y的第i个图像块大小，P_Ω是正交算子，P_ΩM表示一个整体为像素丢失矩阵，K、P均表示正整数分别是完整图像X的低秩、稀疏编码系数矩阵的行数和列数；l，s分别用于区分是低秩部分还是稀疏部分；

Step3.2引入辅助变量X_l＝D_lA_l、X_s＝D_sA_s，则公式(2)变为公式(3)：

Step3.3采用交替迭代算法，求最优解：

更新X时，固定X_l、X_s不变，目标函数如下：

更新X_l时，固定X、X_s不变，目标函数如下：

其中

I_W是

单位阵；

同理，更新X_s时，固定X、X_l不变，目标函数如下：

其中

在更新后的X，X_l，X_s基础上，更新低秩、稀疏编码系数矩阵A_l，A_s：

5.根据权利要求1所述的基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于：所述Step4中，l₁范数最大系数融合规则如下：

其中，c∈[l，s]，l，s，分别用于区分是低秩部分还是稀疏部分，L是待融合图像数量，每幅图像被分割成大小为

的P块图像块，

是第j幅图像的第i个图像块的低秩编码系数矩阵和稀疏编码系数矩阵，

第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

6.根据权利要求1所述的基于字典学习的多源受损图像融合与恢复联合实现方法，其特征在于：所述Step5，融合图像为：

其中，D_l、D_s分别表示低秩字典和稀疏字典，

分别为低秩融合编码系数矩阵和稀疏融合编码系数矩阵，

表示第j幅图像的第i个图像块的低秩融合编码系数矩阵和稀疏融合编码系数矩阵。

Images