CN107622479B - 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法 - Google Patents

一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法 Download PDF

Info

Publication number
CN107622479B
CN107622479B CN201710785887.3A CN201710785887A CN107622479B CN 107622479 B CN107622479 B CN 107622479B CN 201710785887 A CN201710785887 A CN 201710785887A CN 107622479 B CN107622479 B CN 107622479B
Authority
CN
China
Prior art keywords
band
image
spectral
sub
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710785887.3A
Other languages
English (en)
Other versions
CN107622479A (zh
Inventor
肖亮
刘贤文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710785887.3A priority Critical patent/CN107622479B/zh
Publication of CN107622479A publication Critical patent/CN107622479A/zh
Application granted granted Critical
Publication of CN107622479B publication Critical patent/CN107622479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法。采取非降采样轮廓波分别对全图像和多谱段图像进行多尺度多方向分解，并构造退化尺度下方向子带的全色图像和多谱段图像；采取多变量回归方法联合估计各方向子带的细节注入增益参数和平均亮度加权参数；进而设计自适应融合准则，实现细节的多尺度多方向自适应注入。本发明通过全色图像融合，可大幅提升多谱段图像空间分辨率，具有方向子带自适应性、参数自适应估计，有效地将全色图像的几何细节注入到多谱段图像，能够减少光谱失真。

Description

一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法
技术领域
本发明属于遥感图像融合技术领域，具体涉及一种综合全色图像和多谱段图像的互补信息、锐化提升多谱段图像空间分辨率的方法。
背景技术
遥感技术的不断发展为人类对地观测提供了丰富而宝贵的资源。遥感卫星通常提供全色图像和多谱段图像两种，其中，全色图像空间分辨率高，具有丰富的空间细节信息，能够详尽地表达地物的细节特征，但光谱信息较少；多谱段图像光谱信息丰富，有利于地物识别与分类，但成像分辨率低。越来越多的应用需要融合二者的优势得到较高空间分辨率的多谱段图像，多谱段图像的全色锐化方法是解决这一问题的有效途径，属于遥感图像融合方法。
目前，多谱段图像的细节注入全色锐化方法往往基于细节注入框架，即将全色图像的空间细节根据一定的增益注入到多谱段图像中，以此提高多谱段图像的空间分辨率，其中，空间细节是指全色图像和平均亮度的差值图像。该框架需要解决的关键问题是如何求取平均亮度图像和空间细节注入增益。传统的细节注入方法，如基于IHS变换、PCA变换和Gram–Schmidt(GS)变换的方法等，融合结果中的空间细节有很大提高，容易实现，速度快。但是，全色图像和多谱段图像的相对光谱相应范围不匹配会导致光谱失真。近年来，多尺度分析为遥感图像的融合注入了新的活力，基于多尺度分析的图像融合方法是在图像的多个尺度上提取全色图像的细节信息并注入到多谱段图像中去。多尺度分析包括曲波、脊波、轮廓波等。基于多尺度分析的方法，能有效地保留多谱段图像中的光谱信息。申请号为201610179673.7的中国发明专利申请提出一种基于小波的多尺度方法，但只有水平、垂直和对角三个方向，方向性不足；并且不能做到参数自适应联合估计，还需要进一步克服光谱失真的问题。
有学者基于细节注入的框架，提出一种波段相关多变量回归方法(BDSD)，(AndreaGarzelli,Filippo Nencini，Optimal MMSE Pan Sharpening of Very High ResolutionMultispectral Images，IEEE Transactions on Geoscience and Remote Sensing,Vol.46,No.1,2008.)，该方法有效提高了多谱段图像的空间分辨率，但是没有考虑到图像在多尺度下的图像特点。申请号为201510299181.7的中国发明专利申请提出一种自适应方法，自适应估计平均亮度加权参数，但该方法没有考虑波段间的相关性。
发明内容
本发明的目的在于提出一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法，提高了多谱段图像的空间分辨率，保留了多谱段图像的光谱信息，弥补传统方法在光谱保留方面的不足。
为了解决上述技术问题，本发明提供一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法，步骤如下：
步骤1，对于一幅高H、宽W的高分辨率全色图像P和一幅高H'、宽W'、波段数为B的低分辨率多谱段图像M0，将低分辨率多谱段图像M0的每个波段插值至全色图像大小，记为插值多谱段图像M；
步骤2，对全色图像P和插值多谱段图像M逐波段进行相同的非降采样的轮廓波多尺度多方向分解，其中，图像进行三层尺度分解，第1层尺度为无方向分解，第2、3层尺度为有方向分解，全色图像P和插值多谱段图像M的第个l波段的图像经分解，分别获得低频子带PL、
Figure BDA0001398025740000021
方向子带Pk,m、
Figure BDA0001398025740000022
和高频子带P1、
Figure BDA0001398025740000023
l＝1,2,3,..B，k代表分解尺度，m代表分解方向，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8，下标L代表图像的低频子带；
步骤3，插值多谱段图像M分解后，分别将各个波段的低频子带
Figure BDA0001398025740000024
在相同尺度与方向上的方向子带Pk,m以及高频子带
Figure BDA0001398025740000025
按照原来波段的顺序重新组合，构造低频子带多谱段图像ML、方向子带多谱段图像Mk,m和高频子带多谱段图M1，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8，
步骤4，对全色图像方向子带Pk,m和方向子带多谱段图像Mk,m逐波段退化，构造退化的方向子带全色图像
Figure BDA0001398025740000026
和退化的方向子带多谱段图像
Figure BDA0001398025740000027
k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8；
步骤5，在退化尺度下使用回归估计方法，求解方向子带多谱段图像的细节注入增益参数
Figure BDA0001398025740000028
和平均亮度加权参数
Figure BDA0001398025740000029
计算公式如下：
Figure BDA0001398025740000031
其中，
Figure BDA0001398025740000032
和
Figure BDA0001398025740000033
分别表示退化的方向子带多谱段图像的第l个和第n个波段的图像，|| ||F为矩阵的F范数，l＝1,2,3,..B，B为波段数,
Figure BDA0001398025740000034
和
Figure BDA0001398025740000035
分别是细节注入增益
Figure BDA0001398025740000036
和平均亮度加权参数
Figure BDA0001398025740000037
的估计值；
步骤6，对插值尺度下的所有方向子带多谱段图像Mk,m和高频子带多谱段图像M1逐波段使用不同的融合方法进行细节注入，得到融合的方向子带多谱段图像Mk,m和融合的高频子带多谱段图像M1,其中，
方向子带多谱段图像Mk,m逐波段细节注入的方法如下式所示：
Figure BDA0001398025740000038
其中，
Figure BDA0001398025740000039
是融合的方向子带多谱段图像Mk,m第l个波段的图像，
Figure BDA00013980257400000310
是方向子带多谱段图像的第n个波段的图像，
Figure BDA00013980257400000311
和
Figure BDA00013980257400000312
是细节注入增益和平均亮度加权，
Figure BDA00013980257400000313
是第l个波段的平均亮度；
高频子带多谱段图像M1逐波段细节注入的方法如下式所示：
Figure BDA00013980257400000314
其中，
Figure BDA00013980257400000315
是融合后的高频子带多谱段图像的第l波段，P1是全色图像的高频子带；
步骤7，将插值多谱段图像M的所有子带多谱段图像重构为高分辨率多谱段图像M，重构公式如下式所示：
Figure BDA00013980257400000316
其中，M是融合后的多谱段图像，ML是低频子带多谱段图像，M2,m和M3,m是融合后的方向子带多谱段图像，M1是融合后的高频子带多谱段图像。
进一步，步骤2中：
全色图像P非降采样轮廓波多尺度多方向分解方法如下式所示：
Figure BDA0001398025740000041
其中，PL为全色图像P的低频子带；P3,m是第3层的第m个方向的子带，P2,m是第2层的第m个方向的子带；P1为高频子带；
插值多谱段图像M逐波段分解方法如下式所示：
Figure BDA0001398025740000042
其中，M(l)为插值多谱段图像的第l波段图像，
Figure BDA0001398025740000043
是它的低频子带；
Figure BDA0001398025740000044
是第3层的第m个方向的子带，
Figure BDA0001398025740000045
是第2层的第m个方向的子带，
Figure BDA0001398025740000046
为高频子带。
进一步，步骤4中：
全色图像方向子带Pk,m逐波段退化的方法如下式所示：
Figure BDA0001398025740000047
其中，
Figure BDA0001398025740000048
为全色图像方向子带Pk,m的退化图像，GP为全色图像的所有方向子带所使用的高斯核，
Figure BDA0001398025740000049
表示卷积操作；
方向子带多谱段图像
Figure BDA00013980257400000410
逐波段退化的方法如下式所示：
Figure BDA00013980257400000411
其中，
Figure BDA00013980257400000412
为方向多谱段图像的第l个波段的退化图像，
Figure BDA00013980257400000413
为方向子带多谱段图像的第l个波段的图像所使用的高斯核。
进一步，步骤5中，对任意的第k个尺度和第m个方向的多谱段图像，按照以下步骤估计细节注入增益参数
Figure BDA00013980257400000414
和平均亮度加权参数
Figure BDA00013980257400000415
5.1建立退化子带观测矩阵
Figure BDA00013980257400000416
其中，Hk,m为高H×W，宽B+1的退化的方向子带观测矩阵，vec(·)为矩阵化为列向量的操作；
5.2计算联合参数
Figure BDA0001398025740000051
方法如下式所示，
Figure BDA0001398025740000052
其中，
Figure BDA0001398025740000053
为第l波段的联合参数，是有B+1个元素的列向量，是对参数
Figure BDA0001398025740000054
和
Figure BDA0001398025740000055
的联合估计，(·)T为矩阵转置操作，(·)-1为矩阵求逆操作；
5.3估计细节注入增益参数
Figure BDA0001398025740000056
和平均亮度加权参数
Figure BDA0001398025740000057
方法如下式所示：
Figure BDA0001398025740000058
其中，
Figure BDA0001398025740000059
和
Figure BDA00013980257400000510
分别是对
Figure BDA00013980257400000511
和
Figure BDA00013980257400000512
的估计值，
Figure BDA00013980257400000513
是
Figure BDA00013980257400000514
的第B+1个元素，
Figure BDA00013980257400000515
是
Figure BDA00013980257400000516
的第n个元素。
本发明与现有技术相比，其显著优点在于：
(1)具有方向子带自适应性，图像分解的尺度与方向个数选择灵活；
(2)具有参数自适应性，方向子带融合中的细节注入增益参数和平均亮度加权参数与实际图像有关，可适应各种多谱段图像；
(3)融合准则根据不同子带所包含的空间信息和光谱信息的特点，对低频、高频和方向子带使用不同的融合方法，提高多谱段图像的空间信息的同时保留图像的光谱信息。
附图说明
图1是本发明方法流程图。
图2是本发明实施实例中所用到的2幅测试图像和1幅插值图像，其中，(a)是全色图像，(b)是多谱段图像立体图，(c)是插值后的多光谱图像。
图3是本发明中使用的非降采样轮廓波的子带分解示意图。
图4是本发明中全色图像分解产生的子带图像，其中(a)是低频子带，(b)是高频子带，(c)和(d)是部分方向子带。
图5是本发明中构造的子带多谱段图像，其中(a)是低频子带多谱段图像，(b)是高频子带多谱段图像，(c)和(d)是部分方向子带多谱段图像。
图6是本发明使用的融合准则示意图。
图7是本发明方法与波段相关多变量回归方法(BDSD)融合效果图以及参考图像，其中(a)是BDSD方法的融合效果图，(b)是使用本发明方法的融合效果图，(c)是参考图像。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明多谱段图像全色锐化的轮廓波子带自适应细节注入方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
本发明所述多谱段图像全色锐化的轮廓波子带自适应细节注入方法，将全色图像与多谱段图像进行非降采样轮廓波多尺度多方向分解，并构造退化尺度下方向子带的全色图像和多谱段图像；采取多变量回归方法联合估计各方向子带的细节注入增益参数和平均亮度加权参数；进而设计自适应融合准则，实现细节的多尺度多方向自适应注入。具体包括以下步骤：
步骤1，图像插值
输入一幅高H、宽W的高分辨率全色图像P∈RH×W和一幅高H'、宽W'、波段数为B的低分辨率多谱段图像M0∈RH'×W'×B，将低分辨率多谱段图像M0的每个波段插值至全色图像大小，记为插值多谱段图像M，M∈RH×W×B，其高为H、宽为W、波段数为B。如图2所示，(a)为全色图像，(b)为多谱段图像，(c)为插值多谱段图像。在测试用例中，H＝256，W＝256；H'＝64，W'＝64，B＝4。
步骤2，非降采样轮廓波多尺度多方向分解:
对全色图像P和插值多谱段图像M逐波段进行相同的非降采样的轮廓波多尺度多方向分解，其分解方法为：图像进行三层尺度分解，第1层尺度为无方向分解，第2、3层尺度为有方向分解。图3是非降采样轮廓波子带分解示意图。全色图像P和插值多谱段图像M的第l(l＝1,2,3,..B)个波段的图像经分解，分别产生低频子带PL、
Figure BDA0001398025740000061
方向子带Pk,m、
Figure BDA0001398025740000062
和高频子带P1、
Figure BDA0001398025740000063
分解过程如下：
2.1全色图像P非降采样轮廓波多尺度多方向分解方法如下式所示：
Figure BDA0001398025740000071
其中，PL为全色图像P的低频子带；P3,m是第3层的第m(m＝1,2,..8)个方向的子带，P2,m是第2层的第m(m＝1,2,..4)个方向的子带，第2，3层的所有子带统称为方向子带；P1为高频子带。
2.2插值多谱段图像M逐波段分解，其计算公式为：
Figure BDA0001398025740000072
其中，M(l)为插值多谱段图像的第l波段图像，
Figure BDA0001398025740000073
是它的低频子带；
Figure BDA0001398025740000074
是它的第3层的第m(m＝1,2,..8)个方向的子带，
Figure BDA0001398025740000075
是它的第2层的第m(m＝1,2,..8)个方向的子带,第2，3层的所有子带统称为方向子带；
Figure BDA0001398025740000076
为高频子带。
以全色图像P分解为例，图4分别为全色图像分解后得到的低频子带、高频子带和部分方向子带示意图。
步骤3，构造子带多谱段图像
插值多谱段图像M分解后，分别将各个波段的低频子带、在相同尺度与方向上的方向子带和高频子带，按照原来波段的顺序重新组合，构造低频子带多谱段图像ML∈RH×W×B、方向子带多谱段图像Mk,m∈RH×W×B和高频子带多谱段图M1∈RH×W×B。其中，H、W、B分别为三类子带多谱段图像的高度、宽度和波段数，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8。图5分别是构造的低频子带、高频子带和部分方向子带的多谱段图像示意图。
步骤4，构造退化模型下的方向子带的全色图像和多谱段图像
对全色图像方向子带Pk,m和方向子带多谱段图像Mk,m逐波段退化，构造退化的方向子带全色图像
Figure BDA0001398025740000077
和退化的方向子带多谱段图像
Figure BDA0001398025740000078
其中，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8。退化过程如下：
4.1全色图像方向子带退化，其计算公式为：
Figure BDA0001398025740000079
其中，
Figure BDA0001398025740000081
为全色图像方向子带Pk,m的退化图像，GP为全色图像的所有方向子带所使用的高斯核，
Figure BDA0001398025740000082
表示卷积操作。
4.2方向子带多谱段图像逐波段退化，其计算公式为：
Figure BDA0001398025740000083
其中，
Figure BDA0001398025740000084
为方向多谱段图像的第l个波段的退化图像，
Figure BDA0001398025740000085
为方向子带多谱段图像的第l个波段的图像所使用的高斯核。
步骤5，方向子带多谱段图像的细节注入增益参数和平均亮度加权参数联合估计
在退化尺度下使用回归估计方法，求解方向子带多谱段图像的细节注入增益参数
Figure BDA0001398025740000086
和平均亮度加权参数
Figure BDA0001398025740000087
计算公式如下：
Figure BDA0001398025740000088
其中，
Figure BDA0001398025740000089
和
Figure BDA00013980257400000810
分别表示退化的方向子带多谱段图像的第l个和第n个波段的图像，|| ||F为矩阵的F范数，l＝1,2,3,..B，B为波段数。
Figure BDA00013980257400000811
和
Figure BDA00013980257400000812
分别是细节注入增益
Figure BDA00013980257400000813
和平均亮度加权参数
Figure BDA00013980257400000814
的估计值。
其中，对任意的第k个尺度和第m个方向的多谱段图像，按照以下步骤估计细节注入增益参数
Figure BDA00013980257400000815
和平均亮度加权参数
Figure BDA00013980257400000816
具体的计算过程为：
5.1建立退化子带观测矩阵Hk,m：
Figure BDA00013980257400000817
其中，Hk,m∈R(H×W)×(B+1)为高H×W，宽B+1的退化的方向子带观测矩阵，vec(·)为矩阵化为列向量的操作。
5.2计算联合参数
Figure BDA00013980257400000818
Figure BDA00013980257400000819
其中，
Figure BDA00013980257400000820
为第l波段的联合参数，是有B+1个元素的列向量，是对参数
Figure BDA00013980257400000821
和
Figure BDA00013980257400000822
的联合估计，(·)T为矩阵转置操作，(·)-1为矩阵求逆操作。
5.3估计细节注入增益参数
Figure BDA0001398025740000091
和平均亮度加权参数
Figure BDA0001398025740000092
Figure BDA0001398025740000093
其中，
Figure BDA0001398025740000094
和
Figure BDA0001398025740000095
分别是对
Figure BDA0001398025740000096
和
Figure BDA0001398025740000097
的估计值，
Figure BDA0001398025740000098
是
Figure BDA0001398025740000099
的第B+1个元素，
Figure BDA00013980257400000910
是
Figure BDA00013980257400000911
的第n个元素。
步骤6，多尺度多方向子带自适应细节注入
对插值尺度下的所有方向子带多谱段图像Mk,m和高频子带多谱段图像M1逐波段使用不同的融合方法进行细节注入，得到融合的方向子带多谱段图像Mk,m和融合的高频子带多谱段图像M1。其中，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8。融合准则如下：
6.1方向子带多谱段图像逐波段细节注入，其计算公式为：
Figure BDA00013980257400000912
其中，
Figure BDA00013980257400000913
是融合的方向子带多谱段图像Mk,m第l个波段的图像，
Figure BDA00013980257400000914
是方向子带多谱段图像的第n个波段的图像，
Figure BDA00013980257400000915
和
Figure BDA00013980257400000916
是细节注入增益和平均亮度加权，
Figure BDA00013980257400000917
是第l个波段的平均亮度。
6.2高频子带多谱段图像逐波段细节注入，其计算公式为：
Figure BDA00013980257400000918
其中，
Figure BDA00013980257400000919
是融合后的高频子带多谱段图像的第l波段，P1是全色图像的高频子带。融合准则示意图如图6所示。
步骤7，高分辨多谱段图像重构
将插值多谱段图像M的所有子带多谱段图像重构为高分辨率多谱段图像M。
Figure BDA00013980257400000920
其中，M是融合后的多谱段图像，ML是低频子带多谱段图像，M2,m和M3,m是融合后的方向子带多谱段图像，M1是融合后的高频子带多谱段图像。如图6(b)所示，是本方法明方法的融合效果图。
下面结合附图，通过仿真实验实例及其效果评价来进一步说明本发明。
在本次实施例中，实验所用到的全色图像和多谱段图像由GeoEye1卫星采集，具体数据如下表：
表1实验使用的数据
Figure BDA0001398025740000101
全色图像如图2(a)所示、多谱段图像如图2(b)所示、以及一幅分辨率和尺寸与全色图像相同、波段数为4的参考图像，也就是理想的高分辨率多谱段图像，用来与实验结果做比较，如图7(c)所示。采用这三幅图像进行对比仿真实验。
在实验中用于定量评估算法的性能指标，采用遥感图像融合中常使用的4个评价指标SAM、ERGAS、UIQI和sCC来评价。SAM用来评价光谱失真程度，ERGAS评价本融合结果与参考图像的差异，一般而言，SAM和ERGAS越小越好；UIQI用来评价实验结果与参考图像的总体相似度，sCC用来评价实验结果与参考图像中细节信息的相似度，一般而言，UIQI和sCC越大越好。各项指标定义如下：
Figure BDA0001398025740000102
其中，H、W分别是多谱段图像的高和宽，arc cos(·)是反余弦函数，u(i,j)和
Figure BDA0001398025740000103
分别为融合多谱段图像与参考图像在位置(i,j)上由所有谱段灰度值组成的光谱矢量，<·,·>是向量内积，||·||2是向量2范数。
Figure BDA0001398025740000104
其中，dP和dP分别是全色图像和融合多谱段图像的尺寸大小，B是多谱段图像的波段数，
Figure BDA0001398025740000105
是融合多谱段图像第l波段图像的均值，RMSE(l)定义如下：
Figure BDA0001398025740000111
其中，ul(i,j)和
Figure BDA0001398025740000112
分别是融合图像和参考图像的第l波段在位置(i,j)处的灰度值。
Figure BDA0001398025740000113
其中，
Figure BDA0001398025740000114
是融合图像与参考图像的第l波段的协方差，
Figure BDA0001398025740000115
和
Figure BDA0001398025740000116
分别是融合图像和参考图像第l波段的标准差，
Figure BDA0001398025740000117
和
Figure BDA0001398025740000118
分别是融合图像和参考图像第l波段的均值。
Figure BDA0001398025740000119
其中
Figure BDA00013980257400001110
和
Figure BDA00013980257400001111
分别表示融合图像和参考图像的第l波段经过sobel算子运算提取出的空间细节图像。
表2给出了传统方法(亮度-色调-饱和度变换法(HIS)、主成分分析法(PCA)、Gram-Schimidt变换法(GS))、波段相关多变量回归方法(BDSD)和本发明方法的融合结果的各项性能指标的对比数据，实验效果图如图7所示。对比指标可以发现，BDSD方法和本发明方法相比传统在各个指标上有明显提升。相比BDSD方法，本发明方法在SAM上提升很大，说明本发明提出的方法的在光谱保留上比BDSD方法保留更多。从sCC指标来看，两者较为接近，说明空间细节的注相比BDSD方法有略微提高；从视觉效果来看，图7(b)比图7(a)的颜色信息更为丰富，空间细节也很清晰，明显可以看出本发明的实验效果与参考图像更为相似，光谱保留的更多，也验证了评价指标的有效性。
表2本发明与BDSD方法融合质量评价的比较
SAM ERGAS UIQI sCC
IHS 5.8302 5.2542 0.7911 0.7890
PCA 5.9227 5.2886 0.7908 0.7885
GS 5.7380 5.2277 0.7926 0.7924
BDSD 5.5717 4.3984 0.8773 0.7938
本发明方法 4.9695 4.2269 0.8773 0.8039
由于BDSD方法仅在图像的观察尺度上进行细节注入，忽视了全色图像和多谱段图像在多尺度下的相互联系。本发明方法采用非降采样轮廓波对这2幅图像进行多尺度多方向分解，在各个尺度下对多谱段图像注入全色图像的空间几何信息，不仅提高了多谱段图像的空间分辨率，而且更好地保留了其光谱信息。
本发明能够实现多谱段图像的全色锐化，具有方向子带自适应性，图像分解的尺度与方向个数选择灵活；参数自适应性，可适应各种多谱段图像的特点，与传统方法相比，能有效降低光谱失真。从视觉效果上看，本发明方法可以得到空间结构清晰、光谱信息丰富的融合结果图像。上述实例证明本发明方法具有很好的实用性及有效性。

Claims (4)

1.一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法，其特征在于，步骤如下：
步骤1，对于一幅高H、宽W的高分辨率全色图像P和一幅高H′、宽W′、波段数为B的低分辨率多谱段图像M0，将低分辨率多谱段图像M0的每个波段插值至全色图像大小，记为插值多谱段图像M；
步骤2，对全色图像P和插值多谱段图像M逐波段进行相同的非降采样的轮廓波多尺度多方向分解，其中，图像进行三层尺度分解，第1层尺度为无方向分解，第2、3层尺度为有方向分解，全色图像P和插值多谱段图像M的第l个波段的图像经分解，分别获得低频子带PL、
Figure FDA0002699007440000011
方向子带Pk,m、
Figure FDA0002699007440000012
和高频子带P1、
Figure FDA0002699007440000013
l＝1,2,3,..B，k代表分解尺度，m代表分解方向，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8，下标L代表图像的低频子带；
步骤3，插值多谱段图像M分解后，分别将各个波段的低频子带
Figure FDA0002699007440000014
在相同尺度与方向上的方向子带Pk,m以及高频子带
Figure FDA0002699007440000015
按照原来波段的顺序重新组合，构造低频子带多谱段图像ML、方向子带多谱段图像Mk,m和高频子带多谱段图像M1，k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8，
步骤4，对全色图像方向子带Pk,m和方向子带多谱段图像Mk,m逐波段退化，构造退化的方向子带全色图像
Figure FDA0002699007440000016
和退化的方向子带多谱段图像
Figure FDA0002699007440000017
k＝2,3，k＝2时m＝1,2,..4；k＝3时m＝1,2,..8；
步骤5，在退化尺度下使用回归估计方法，求解方向子带多谱段图像的细节注入增益参数
Figure FDA0002699007440000018
和平均亮度加权参数
Figure FDA0002699007440000019
计算公式如下：
Figure FDA00026990074400000110
其中，
Figure FDA00026990074400000111
和
Figure FDA00026990074400000112
分别表示退化的方向子带多谱段图像的第l个和第n个波段的图像，||·||F为矩阵的F范数，l＝1,2,3,..B，B为波段数,
Figure FDA00026990074400000113
和
Figure FDA00026990074400000114
分别是细节注入增益
Figure FDA00026990074400000115
和平均亮度加权参数
Figure FDA00026990074400000116
的估计值；
步骤6，对插值尺度下的所有方向子带多谱段图像Mk,m和高频子带多谱段图像M1逐波段使用不同的融合方法进行细节注入，得到融合的方向子带多谱段图像
Figure FDA0002699007440000021
和融合的高频子带多谱段图像
Figure FDA0002699007440000022
其中，
方向子带多谱段图像Mk,m逐波段细节注入的方法如下式所示：
Figure FDA0002699007440000023
其中，
Figure FDA0002699007440000024
是融合的方向子带多谱段图像
Figure FDA0002699007440000025
的第l个波段的图像，
Figure FDA0002699007440000026
是方向子带多谱段图像的第n个波段的图像，
Figure FDA0002699007440000027
是第l个波段的平均亮度；
高频子带多谱段图像M1逐波段细节注入的方法如下式所示：
Figure FDA0002699007440000028
其中，
Figure FDA0002699007440000029
是融合后的高频子带多谱段图像的第l波段，P1是全色图像的高频子带；
步骤7，将插值多谱段图像M的所有子带多谱段图像重构为高分辨率多谱段图像
Figure FDA00026990074400000210
重构公式如下式所示：
Figure FDA00026990074400000211
其中，
Figure FDA00026990074400000212
是融合后的多谱段图像，ML是低频子带多谱段图像，
Figure FDA00026990074400000213
和
Figure FDA00026990074400000214
是融合后的方向子带多谱段图像，
Figure FDA00026990074400000215
是融合后的高频子带多谱段图像。
2.如权利要求1所述多谱段图像全色锐化的轮廓波子带自适应细节注入方法，其特征在于，步骤2中：
全色图像P非降采样轮廓波多尺度多方向分解方法如下式所示：
Figure FDA00026990074400000216
其中，PL为全色图像P的低频子带；P3,m是第3层的第m个方向的子带，P2,m是第2层的第m个方向的子带；P1为高频子带；
插值多谱段图像M逐波段分解方法如下式所示：
Figure FDA0002699007440000031
其中，M(l)为插值多谱段图像的第l波段图像，
Figure FDA0002699007440000032
是它的低频子带；
Figure FDA0002699007440000033
是第3层的第m个方向的子带，
Figure FDA0002699007440000034
是第2层的第m个方向的子带，
Figure FDA0002699007440000035
为高频子带。
3.如权利要求1所述多谱段图像全色锐化的轮廓波子带自适应细节注入方法，其特征在于，步骤4中：
全色图像方向子带Pk,m逐波段退化的方法如下式所示：
Figure FDA0002699007440000036
其中，
Figure FDA0002699007440000037
为全色图像方向子带Pk,m的退化图像，GP为全色图像的所有方向子带所使用的高斯核，
Figure FDA0002699007440000038
表示卷积操作；
方向子带多谱段图像
Figure FDA0002699007440000039
逐波段退化的方法如下式所示：
Figure FDA00026990074400000310
其中，
Figure FDA00026990074400000311
为方向多谱段图像的第l个波段的退化图像，
Figure FDA00026990074400000312
为方向子带多谱段图像的第l个波段的图像所使用的高斯核。
4.如权利要求1所述多谱段图像全色锐化的轮廓波子带自适应细节注入方法，其特征在于，步骤5中，对任意的第k个尺度和第m个方向的多谱段图像，按照以下步骤估计细节注入增益参数
Figure FDA00026990074400000313
和平均亮度加权参数
Figure FDA00026990074400000314
5.1建立退化子带观测矩阵
Figure FDA00026990074400000315
其中，Hk,m为高H×W，宽B+1的退化的方向子带观测矩阵，vec(·)为矩阵化为列向量的操作；
5.2计算联合参数
Figure FDA00026990074400000316
方法如下式所示，
Figure FDA00026990074400000317
其中，
Figure FDA0002699007440000041
为第l波段的联合参数，是有B+1个元素的列向量，是对参数
Figure FDA0002699007440000042
和
Figure FDA0002699007440000043
的联合估计，(·)T为矩阵转置操作，(·)-1为矩阵求逆操作；
5.3估计细节注入增益参数
Figure FDA0002699007440000044
和平均亮度加权参数
Figure FDA0002699007440000045
方法如下式所示：
Figure FDA0002699007440000046
其中，
Figure FDA0002699007440000047
和
Figure FDA0002699007440000048
分别是对
Figure FDA0002699007440000049
和
Figure FDA00026990074400000410
的估计值，
Figure FDA00026990074400000411
是
Figure FDA00026990074400000412
的第B+1个元素，
Figure FDA00026990074400000413
是
Figure FDA00026990074400000414
的第n个元素。
CN201710785887.3A 2017-09-04 2017-09-04 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法 Active CN107622479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710785887.3A CN107622479B (zh) 2017-09-04 2017-09-04 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710785887.3A CN107622479B (zh) 2017-09-04 2017-09-04 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法

Publications (2)

Publication Number Publication Date
CN107622479A CN107622479A (zh) 2018-01-23
CN107622479B true CN107622479B (zh) 2020-11-27

Family

ID=61089241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710785887.3A Active CN107622479B (zh) 2017-09-04 2017-09-04 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法

Country Status (1)

Country Link
CN (1) CN107622479B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109727207B (zh) * 2018-12-06 2022-12-16 华南理工大学 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049898A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 带有薄云的多光谱和全色图像融合方法
CN104616261A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN105869114A (zh) * 2016-03-25 2016-08-17 哈尔滨工业大学 基于多层带间结构模型的多光谱图像和全色图像融合方法
CN105976316A (zh) * 2016-04-27 2016-09-28 武汉卓目科技有限公司 基于接触式图像传感器的多谱段图像重建方法及系统
CN106157269A (zh) * 2016-07-29 2016-11-23 西安电子科技大学 基于方向多尺度群低秩分解的全色图像锐化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299130B2 (en) * 2013-03-15 2016-03-29 Trustees Of Tufts College Methods and apparatus for image processing and analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049898A (zh) * 2013-01-27 2013-04-17 西安电子科技大学 带有薄云的多光谱和全色图像融合方法
CN104616261A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN105869114A (zh) * 2016-03-25 2016-08-17 哈尔滨工业大学 基于多层带间结构模型的多光谱图像和全色图像融合方法
CN105976316A (zh) * 2016-04-27 2016-09-28 武汉卓目科技有限公司 基于接触式图像传感器的多谱段图像重建方法及系统
CN106157269A (zh) * 2016-07-29 2016-11-23 西安电子科技大学 基于方向多尺度群低秩分解的全色图像锐化方法

Also Published As

Publication number Publication date
CN107622479A (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
Gao et al. Enhanced autoencoders with attention-embedded degradation learning for unsupervised hyperspectral image super-resolution
US8693771B2 (en) Method for pan-sharpening panchromatic and multispectral images using dictionaries
CN104123705B (zh) 一种超分辨率重建图像质量Contourlet域评价方法
Li et al. Hyperspectral pansharpening via improved PCA approach and optimal weighted fusion strategy
CN104199627B (zh) 基于多尺度在线字典学习的可分级视频编码系统
CN107169946B (zh) 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
CN110211084B (zh) 一种基于权重小波变换的图像多分辨率重建方法
CN109727207A (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN104851091A (zh) 一种基于卷积增强和hcs变换的遥感影像融合方法
CN103871041A (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN106157269B (zh) 基于方向多尺度群低秩分解的全色图像锐化方法
Liu et al. A practical pan-sharpening method with wavelet transform and sparse representation
CN107622479B (zh) 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法
Bagawade Ramdas et al. Wavelet transform techniques for image resolution enhancement: a study
Zhang et al. Translate SAR data into optical image using IHS and wavelet transform integrated fusion
Pan et al. FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN
Rao et al. Selective neighbouring wavelet coefficients approach for image denoising
CN104732504A (zh) 基于压缩感知和wbct变换的图像融合方法
CN108830793B (zh) 一种高分辨率遥感图像辐射重建方法
CN108596831B (zh) 一种基于AdaBoost实例回归的超分辨率重建方法
CN115100075A (zh) 基于光谱约束和残差注意力网络的高光谱全色锐化方法
Huang et al. An NSST-Based Fusion Method for Airborne Dual-Frequency, High-Spatial-Resolution SAR Images
Alvarez-Ramos et al. Satellite image super-resolution using overlapping blocks via sparse representation
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
Ren et al. Super-resolution algorithm based on sparse representation and wavelet preprocessing for remote sensing imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant