CN109949270A - 基于区域卷积网络的多光谱和全色图像融合空间质量评价方法 - Google Patents

Abstract

本发明涉及一种基于区域卷积网络的多光谱和全色图像融合空间质量评价方法，改进了传统的基于区域的多光谱图像和全色图像融合空间质量评价方法中对融合图像和全色图像的处理过程。直接使用GoogLeNet网络提取原始的融合图像和全色图像中区域图像的空间特征，而不是先对融合图像进行灰度图像转换和离散余弦变换。有效避免了图像的空间信息丢失的同时，提取了表征能力和泛化能力更强的深度特征，对融合结果进行特征级的空间质量评价。最终得到直观的空间质量分布图表示融合结果局部区域的空间质量。

Description

基于区域卷积网络的多光谱和全色图像融合空间质量评价 方法

技术领域

本发明属于信息处理技术领域，涉及一种对遥感图像融合结果的质量评价方法，具体来说是一种基于区域卷积网络的多光谱图像和全色图像融合空间质量评价方法。

背景技术

通过图像融合技术得到的遥感图像信息量大，在空间域和光谱域中同时具有高分辨率，被越来越广泛的应用于遥感领域。遥感图像融合质量评价在这些应用中起着重要作用，既是衡量遥感图像融合方法的标杆，也是改进遥感图像融合方法的重要工具。

传统的方法是在像素级对多光谱和全色图像的融合结果进行空间质量评价，最终只通过一个质量评价分数表示融合结果的空间质量好坏，缺乏对融合结果局部区域空间质量的关注。于是人们提出了基于区域的多光谱图像和全色图像融合结果的空间质量评价方法，通过对融合图像的区域提取，能够对融合结果进行以区域为单位的空间质量评估，最终得到的是融合结果各个区域的空间质量评价分数。传统的基于区域的空间质量评价方法在将原始的全色图像和融合图像进行空间质量评估之前，将融合图像转换成了灰度图像，再对全色图像和融合图像的灰度图像进行离散余弦变换，最后将离散余弦变换得到的结果进行相关性计算，得到空间质量评价结果。不同传感器来源的融合图像在进行灰度图转化时所需的参数不同，使得方法本身的泛化能力变差，且灰度图像转化的过程给融合图像造成了信息上的损失，给空间质量评价结果带来了更多不确定性。

发明内容

要解决的技术问题

本发明的目的是克服传统的基于区域的多光谱图像和全色图像融合结果的空间质量评价方法的泛化能力差、评价过程存在信息损失的问题，对融合结果进行以区域为单位的特征级的空间质量评价。本发明替代了传统方法中融合图像的灰度转化过程和全色图像及灰度图像的离散余弦变换过程，进而提出了一种基于区域卷积网络的多光谱图像和全色图像融合空间质量评价方法。

技术方案

一种基于区域卷积网络的多光谱和全色图像融合空间质量评价方法，其特征在于步骤如下：

步骤1：融合图像有4个波段或者8个波段，对于4个波段的融合图像，其第3、2、1波段依次为R、G、B波段，对于8个波段的融合图像，其第5、3、2波段依次为R、G、B波段；提取融合图像的R、G、B波段作为输入，进行SLIC超像素分割，得到分割图的分割信息，所述的分割信息包括每个区域的外接矩形坐标(x_i,y_i)、尺寸h_i×w_i以及区域图像标记stat_i，是区域图像标记为1，反之标记为0；

步骤2：根据步骤1得到的分割信息中外接矩形坐标(x_i,y_i)和尺寸h_i×w_i对融合图像进行矩形裁剪，得到包含第i个区域图像object_i的融合图像的图像块FUScrop_i，对全色图像进行相同的操作，得到与FUScrop_i尺寸一致的PAN图像块PANcrop_i；

步骤3：对步骤2得到的FUScrop_i和步骤1中分割信息包含的区域图像标记stat_i进行点乘操作，得到一个除object_i外的像素被替换为0且仅包含区域图像的外接矩形FUSobj_i，对PANcrop_i重复同样的操作得到PANobj_i；

步骤4：通过步骤3得到尺寸相同且包含区域图像形状相同的一组融合图像和全色图像的矩形图像，即FUSobj_i和PANobj_i，将这组矩形图像输入预训练的GoogLeNet网络模型进行特征提取，提取网络模型中最后一个全连接层的输入数据作为特征向量，得到两个特征向量ff_i和pf_i，ff_i表示FUSobj_i的特征向量，pf_i表示PANobj_i的特征向量；

步骤5：计算步骤4得到的ff_i和pf_i之间的皮尔森线性相关系数PCC，作为当前区域的空间质量分数Q_i，该分数反映FUS局部空间质量；

步骤6：如果得到所有区域的空间质量分数，就得到了以区域为单位的全局质量图Q_global，结束；否则返回步骤2，从融合图像和全色图像中提取下一对图像块FUScrop_i+1和PANcrop_i+1。

有益效果

本发明提出的一种基于区域卷积网络的多光谱和全色图像融合空间质量评价方法，改进了传统的基于区域的多光谱图像和全色图像融合空间质量评价方法中对融合图像和全色图像的处理过程。直接使用GoogLeNet网络提取原始的融合图像和全色图像中区域图像的空间特征，而不是先对融合图像进行灰度图像转换和离散余弦变换。有效避免了图像的空间信息丢失的同时，提取了表征能力和泛化能力更强的深度特征，对融合结果进行特征级的空间质量评价。最终得到直观的空间质量分布图表示融合结果局部区域的空间质量。

附图说明

图1：基于区域卷积网络的多光谱和全色图像融合空间质量评价方法的流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

一种基于区域卷积网络的多光谱图像和全色图像融合空间质量评价方法，步骤如下：

步骤1提取融合图像的R、G、B波段作为输入，对其进行SLIC超像素分割，得到分割图的分割信息，即每个区域的信息。包括每个区域的外接矩形坐标、尺寸以及区域图像标记。

步骤2通过步骤1得到分割信息中区域图像外接矩形的坐标和尺寸对融合图像进行矩形裁剪，对全色图像重复相同的操作。

步骤3对步骤2得到的融合图像的图像块和步骤1中分割信息包含的区域图像标记进行点乘操作，区域外的像素被替换为0，得到一个仅包含区域像素点的外接矩形，融合图像的区域图像。对全色图像重复同样的操作，得到融合图像和全色图像的成对区域。

步骤4将步骤3中得到的融合图像和全色图像的一对矩形区域图像作为输入，使用预训练的GoogLeNet模型分别进行空间特征提取，得到二者的特征向量。

步骤5计算步骤4中两个特征向量的皮尔森线性相关系数，作为这一区域的空间质量分数。

步骤6如果得到所有区域的空间质量分数，就得到了最终融合图像的空间质量分布图，结束。否则返回步骤3，处理下一对图像块。

具体步骤如下：

步骤1融合图像有4个波段或者8个波段，对于4个波段的融合图像，其第3、2、1波段依次为R、G、B波段，对于8个波段的融合图像，其第5、3、2波段依次为R、G、B波段。提取融合图像的R、G、B波段作为输入，进行SLIC超像素分割。对于1600×1600的融合图像，通常取n_object＝100～120作为分割后的区域图像个数，object_i(1≤i≤n)表示第i个区域图像。步骤1输出的分割信息包括每个区域的外接矩形坐标(x_i,y_i)、尺寸h_i×w_i以及区域图像标记stat_i，区域图像标记中属于区域的标记为1，反之标记为0。

步骤2根据步骤1得到的分割信息中外接矩形坐标(x_i,y_i)和尺寸h_i×w_i对融合图像进行矩形裁剪，得到包含object_i的融合图像的图像块FUScrop_i，对全色图像进行相同的操作，得到与FUScrop_i尺寸一致的全色图像的图像块PANcrop_i。

步骤3对步骤2得到的FUScrop_i和步骤1中分割信息包含的区域图像标记stat_i进行点乘操作，得到一个除object_i外的像素被替换为0且仅包含区域图像的外接矩形FUSobj_i，对PANcrop_i重复同样的操作得到PANobj_i。

步骤4通过步骤3得到尺寸为h_i×w_i且包含相同形状区域的一组融合图像和全色图像的矩形图像块，即FUSobj_i和PANobj_i。将这组矩形图像输入预训练的GoogLeNet网络模型进行特征提取，提取网络模型中最后一个全连接层的输入数据作为特征向量，即得到两个长度为1024的特征向量，ff_i表示FUSobj_i的特征向量，pf_i表示PANobj_i的特征向量。

步骤5计算步骤4得到的ff_i和pf_i之间的皮尔森线性相关系数(PearsonCorrelation Coefficient，PCC)，作为当前区域的空间质量分数Q_i，该分数反映融合图像局部区域的空间质量。

步骤6如果得到所有区域的空间质量分数，就得到了以区域为单位的全局空间质量分布图Q_global，结束。否则返回步骤2，从融合图像和全色图像中提取下一对图像块FUScrop_i+1和PANcrop_i+1。

Claims (1)

1.一种基于区域卷积网络的多光谱和全色图像融合空间质量评价方法，其特征在于步骤如下：

步骤1：融合图像有4个波段或者8个波段，对于4个波段的融合图像，其第3、2、1波段依次为R、G、B波段，对于8个波段的融合图像，其第5、3、2波段依次为R、G、B波段；提取融合图像的R、G、B波段作为输入，进行SLIC超像素分割，得到分割图的分割信息，所述的分割信息包括每个区域的外接矩形坐标(x_i,y_i)、尺寸h_i×w_i以及区域图像标记stat_i，是区域图像标记为1，反之标记为0；

步骤2：根据步骤1得到的分割信息中外接矩形坐标(x_i,y_i)和尺寸h_i×w_i对融合图像进行矩形裁剪，得到包含第i个区域图像object_i的融合图像的图像块FUScrop_i，对全色图像进行相同的操作，得到与FUScrop_i尺寸一致的PAN图像块PANcrop_i；

步骤3：对步骤2得到的FUScrop_i和步骤1中分割信息包含的区域图像标记stat_i进行点乘操作，得到一个除object_i外的像素被替换为0且仅包含区域图像的外接矩形FUSobj_i，对PANcrop_i重复同样的操作得到PANobj_i；

步骤4：通过步骤3得到尺寸相同且包含区域图像形状相同的一组融合图像和全色图像的矩形图像，即FUSobj_i和PANobj_i，将这组矩形图像输入预训练的GoogLeNet网络模型进行特征提取，提取网络模型中最后一个全连接层的输入数据作为特征向量，得到两个特征向量ff_i和pf_i，ff_i表示FUSobj_i的特征向量，pf_i表示PANobj_i的特征向量；

步骤5：计算步骤4得到的ff_i和pf_i之间的皮尔森线性相关系数PCC，作为当前区域的空间质量分数Q_i，该分数反映FUS局部空间质量；

步骤6：如果得到所有区域的空间质量分数，就得到了以区域为单位的全局质量图Q_global，结束；否则返回步骤2，从融合图像和全色图像中提取下一对图像块FUScrop_i+1和PANcrop_i+1。