CN111340743B - 一种半监督多光谱和全色遥感图像融合方法和系统 - Google Patents
一种半监督多光谱和全色遥感图像融合方法和系统 Download PDFInfo
- Publication number
- CN111340743B CN111340743B CN202010099004.5A CN202010099004A CN111340743B CN 111340743 B CN111340743 B CN 111340743B CN 202010099004 A CN202010099004 A CN 202010099004A CN 111340743 B CN111340743 B CN 111340743B
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- generator
- multispectral
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 239000000284 extract Substances 0.000 claims abstract description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 47
- 238000012545 processing Methods 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种半监督多光谱和全色遥感图像融合方法和系统。方案提取HSV颜色空间的多光谱图像的V通道，分别将该V通道和全色图像输入到生成器中的双胞胎网络中进行编码。接着通过对编码获得的特征进行拼接输入到解码器中，并且将编码器中每层卷积获得的特征与解码器的对应层进行跳层连接后进行图像重构，从而获得融合后的V通道。对融合后的V通道分别利用鉴别器与全色图像和多光谱图像的V通道进行鉴别，鉴别结果反馈到生成器以调整生成器参数，直至鉴别器鉴别通过。然后拼接H、S和融合后的V通道，得到HSV融合图像，然后再转换为RGB图像。本发明无需获取标签图像，计算方法简单，融合后图像的各项指标较现有方法具有较大优势。
Description
技术领域
本发明涉及图像处理(融合)领域，尤其是一种半监督多光谱和全色遥感图像融合方法和系统。
背景技术
由于成像传感器存储和信号传输带宽的限制，大多数地球观测卫星只能提供低光谱分辨率、高空间分辨率的全色(PAN)图像和高光谱分辨率、低空间分辨率的多光谱(MS)图像。由于前者是单波段图像，所以该类图像无法获取地物色彩，但具有高空间分辨率；而后者由于是传感器对地物辐射的多个波段进行获取，得到具有多波段光谱信息的图像，对不同波段分别赋予不同的RGB值，从而获得低分辨率的彩色图像。同时具有高空间分辨率和高光谱分辨率的遥感图像更有利于地质勘探、环境保护、城市规划、海洋监测、气象预报、抢险救灾等领域的应用。因此，如何将低光谱/高空间分辨率的全色灰度图像和高光谱/低空间分辨率的多光谱彩色图像进行融合从而获得高质量的高分辨率多光谱遥感图像成为图像融合领域的研究热点。
过去数十年，各种遥感图像融合方法被提出并且展现出较为优异的图像融合性能。目前存在的遥感图像融合方法可大致分为两类:传统遥感图像融合方法和基于深度学习的遥感图像融合方法。其中，传统的遥感图像融合方法又可以分为基于分量替代的方法，基于多分辨率分析的方法和基于稀疏学习的方法三种。这三种主要的融合方法都具有良好的融合性能，但是其缺点也不可忽视。基于分量替代的方法，例如Gram-Schmidt adaptive(GSA)方法和带相关空间细节(BDSD)模型，具有不同程度的光谱失真。而基于多分辨率分析的方法虽然具有很高的光谱保真度，但是通常情况下不能提供足够的空间信息；基于稀疏学习的方法可以利用字典获取高分辨的多光谱图像，并且光谱失真小。然而，现有的基于稀疏学习的方法大多模型复杂，计算复杂度高，且不能很好地保存光谱信息。此外需要标签图像(同时具有高空间分辨率和高光谱分辨的遥感图像)是该类方法的通病，然而在实际应用中，标签图像的获取又是一大难题。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种结合条件生成对抗网络和双胞胎U型网络结构的半监督多光谱和全色遥感图像融合方法。以提供一种无需获取标签图像，计算复杂度低，且遥感图像融合效果优秀的遥感图像融合方法。
本发明采用的技术方案如下：
一种半监督多光谱和全色遥感图像融合方法，包括以下步骤：
A.提取从RGB颜色空间转换到HSV颜色空间的多光谱图像中的V通道；
反复执行下述步骤B～D，直至鉴别器鉴别通过(无法区分获得的融合V通道图像和对应的源图像-V通道和全色图像)；
B.利用生成器分别对全色图像和所述多光谱图像的V通道进行编码，编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作，以分别获得全色图像和多光谱图像V通道的特征；
C.生成器将编码后获得的全色图像和多光谱图像V通道的特征进行拼接，对拼接特征进行解码，以获得融合后的V通道；
D.将融合后的V通道，分别与全色图像和多光谱图像的V通道利用鉴别器进行鉴别；并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数；
E.将生成器最后融合的V通道与多光谱图像的H、S通道进行拼接后获得HSV融合图像。
F.对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
上述方案无需获取标签图像，通过简单的迭代即可融合出高光谱分辨率、高空间分辨率的遥感图像。编码过程采用多尺度卷积处理，可以获得丰富的特征。
进一步的，所述生成器包括两个编码器和一个解码器，两个编码器分别对全色图像和所述多光谱图像V通道进行编码，所述解码器对拼接特征进行解码；所述编码器采用残差块结构。此处的两个编码器即用于分别执行步骤B的编码过程的操作。
采用残差块结构可以使得融合图像中能够保留更多的图像细节信息和色彩信。
进一步的，所述编码器与解码器之间，采用跳层连接结构。跳层连接使得解码过程能够保留源图像(全色图像或多光谱图像V通道)更多的细节信息。
进一步的，所述步骤D中，将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数具体为：将鉴别器输出的结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数。利用对抗损失函数可以高效地完成对生成器的优化。
进一步的，所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成。本设计的对抗损失函数能够使得融合图像在精度和细节方面获得更佳的效果，融合图像的各项指标均优异。
为解决上述问题，本发明还提供了一种半监督多光谱和全色遥感图像融合系统，包括通道提取模块、生成器、鉴别器、图像融合模块和颜色空间转换模块，其中：
通道提取模块被配置为：将RGB颜色空间的多光谱图像转换到HSV颜色空间，并提取HSV颜色空间下多光谱图像的V通道。
生成器包括两个编码器和一个与所述编码器对应的解码器，所述编码器采用残差块结构，所述编码器的第一层均采用多尺度卷积模块，两个编码器分别用于对全色图像和所述多光谱图像的V通道进行编码，以分别获得全色图像和多光谱图像V通道的特征，将全色图像和多光谱图像V通道的特征进行拼接并由解码器解码得到融合后的V通道。编码器执行的编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作。
鉴别器包括被配置为：将融合后的V通道分别和全色图像和多光谱图像的V通道进行鉴别，并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数。
图像融合模块被配置为：将鉴别器鉴别通过的所述融合后的V通道，以及所述多光谱图像的H、S通道进行拼接，得到HSV融合图像。
颜色空间转换模块被配置为：对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
进一步的，所述编码器与所述解码器之间，采用跳层连接结构。
进一步的，所述鉴别器将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数的方法为：将鉴别结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数。
进一步的，所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成。
需要说明的是，在RGB转换为HSV时，需要将多光谱图像放大。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明无需获取标签图像，结合U-Net网络的特点，设计了一种基于双胞胎U型结构的编码—解码结构，以同时有效的提取两种遥感图像的细节信息，从而提高融合图像视觉质量。
2、本发明利用生成器和鉴别器的博弈过程完成图像通道的融合，无需对图像进行过多的处理，保留了图像尽量多的特征，计算复杂度低。
3、本发明设计了多重跳层和残差块的编码器结构，并且提出了一种对抗损失函数，将LSGAN的损失(最小二乘损失)和L1损失相结合，使得最终所融合的图像保留了更多的源图像信息，基于该设计，使得本发明在融合精度和细节方面均能取得优异的效果，各方面指标均明显优于现有图像融合方法。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本节发明所提融合方法的运行流程图。
图2是本发明所提方法的生成器结构的示意图。其中Enconder是编码器，Decoder是解码器。
图3是本发明所提方法的鉴别器结构示意图。
图4是生成器中的残差块结构示意图。
图5是生成器中多尺度卷积块结构示意图。
图6是双胞胎结构和跳层连接方式的示意图
图7～10是源图像及使用不同方法得到的融合图像的4个实施例。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
需要说明的是，在本发明中，多光谱HSV图像为HSV颜色空间下的多光谱图像，具备V通道的多光谱图像同样为HSV颜色空间下的多光谱图像。在不同实施例中可能存在术语不一致的情况，但均表示RGB颜色空间下的多光谱图像进行HSV颜色空间变换后的图像。
实施例一
本实施例公开了一种半监督多光谱和全色遥感图像融合方法，该方法利用了条件生成对抗网络和双胞胎U型网络结构，如图1所示，所述融合方法包括以下步骤：
A.提取从RGB颜色空间转换到HSV颜色空间的多光谱图像中的V通道数据；
B.利用生成器分别对全色图像和所述多光谱图像的V通道进行编码，编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作，以分别获得全色图像和多光谱图像V通道的特征。
编码过程还采用了残差块结构，以保留后续融合图像中更多的图像细节信息和色彩信息。如下公式：
G(x)＝x+g(x)
其中G(x)表示残差块操作函数，x表示残差块的输入，g(x)表示残差块结构中的中间操作，主要包括空洞卷积操作(atrous convolution,atrous_Conv)，批正则化处理(BatchNormalization，BN)以及激活函数(Rectified Linear Unit，ReLU)等等,+表示加法(Add)操作。
C.生成器将编码后获得的全色图像和多光谱图像V通道的特征进行拼接，对拼接特征进行解码，以获得融合后的V通道。解码时，将编码过程中每一层卷积获得的特征图和解码过程的对应层进行拼接，从而保留源图像更多的细节信息，以便更好的进行V通道图像重构。
在一个实施例中，解码过程采用跳层连接方式，如以下公式表示：
x1＝c(x)，x2＝c(x1)，以此类推，xi＝c(xi-1),(1≤i≤8)。
其中x表示生成器的输入(即编码过程的输入)，即多光谱图像的V通道或全色图像，xi表示编码过程第i层的输出，c()表示编码过程的中间操作，主要包括卷积操作，批正则化处理，激活函数等等。yj表示解码过程第j层的输出，d()表示解码过程的中间操作，主要包括反卷积操作，批正则化处理，dropout操作，激活函数等等。
表示拼接(Concatenation)操作,即跳层连接。
D.将融合后的V通道，分别与全色图像和多光谱图像的V通道利用鉴别器进行鉴别；并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数。鉴别过程包括融合后的V通道和全色图像之间的相似程度，以及融合后的V通道与多光谱图像V通道之间的相似程度。鉴别方式是在给定的条件下指导鉴别器进行鉴别，对于前者而言，给定条件是全色图像，对于后者而言，给定条件是多光谱图像的V通道。这里的鉴别过程时利用训练好的神经网络进行鉴别。鉴别结果为融合后的V通道与真实源图像(多光谱图像V通道和全色图像)之间的相似概率。生成器参数包括编码参数和解码参数，鉴别结果包括融合后的V通道和全色图像间的鉴别结果A，以及融合后的V通道和多光谱图像的V通道间的鉴别结果B，生成器基于鉴别结果A和B共同调整生成器参数。
对于鉴别结果的反馈过程，本发明设计了一种对抗损失函数，将最小二乘生成对抗网络(Least Squares Generative Adversarial Networks，LSGANs)的损失函数(最小二乘损失)与L1损失相结合。该对抗损失函数可以表示为如下公式：
LL1_MS(G)＝E(xMS_V,xPAN)～Pdata(xMS_V,xPAN)[||G(xMS_V,xPAN)-xMS_V||1]， (3)
LL1_PAN(G)＝E(xMS,xPAN)～Pdata(xMS,xPAN)[||G(xMS,xPAN)-xPAN||1]， (4)
LL1(G)＝0.3*LL1_MS(G)+0.7*LL1_PAN(G)， (5)
L(G)＝Lgen(G)+λLL1(G)， (6)
其中Lgen(G)，
是对抗损失，分别表示生成器的损失函数和鉴别器的损失函数。LL1(G)是L1损失，表示源V通道图像和融合后的V通道图像之间的像素损失，LL1_MS(G)和LL1_PAN(G)分别表示源多光谱图像的V通道、全色图像与融合V通道之间的损失函数。L(G)表示最终的生成器的损失函数，其中λ表示LL1(G)损失的权重，在本发明中，λ＝100。G表示生成器，/>
表示用于鉴别融合后的V通道与多光谱图像中V通道的鉴别器，/>
表示用于鉴别全色图像和融合后的V通道的鉴别器。xMS_V，xPAN分别表示全色图像和多光谱图像，|| ||1表示L1范数操作。
将鉴别器输出的判别概率输入到对抗损失函数中得到损失值，以对生成器网络进行优化，更新生成器的相关参数。重复执行上述步骤B～D若干次后，即可使得生成器的参数趋于稳定，此时鉴别器鉴别通过(无法区分获得的融合V通道图像和对应的源图像)，则执行后续步骤。
E.将生成器最后融合的V通道与多光谱图像的H、S通道进行拼接后获得HSV融合图像。
F.对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
实施例二
本实施例公开了一种半监督多光谱和全色遥感图像融合方法，该方法利用了条件生成对抗网络和双胞胎U型网络结构，如图1所示，所述融合方法包括以下步骤：
A.根据颜色空间转换关系，将RGB多光谱图像转换到HSV颜色空间。转换公式如下：
xMS＝BGR_HSV(xMS_RGB)
其中xMS表示HSV颜色空间下的多光谱图像(多光谱HSV图像)，xMS_RGB表示RGB颜色空间下的多光谱图像，BGR_HSV()是颜色空间转换函数。R、G、B分别表示RGB颜色空间中的红色通道、绿色通道和蓝色通道。H、S、V分别是HSV颜色空间中的色调、饱和度和明度。
如果多光谱图像已被转换到HSV空间，则省略该步骤。
B.利用生成器分别对全色图像，及多光谱HSV图像的V通道进行编码，以分别获得全色图像和多光谱HSV图像V通道的特征。
如图2所示，生成器包括两个编码器和一个解码器，两个编码器的第一层都采用了多尺度卷积。全色图像和多光谱HSV图像的V通道分别输入一个编码器进行编码，输入到编码器中的全色图像以及多光谱图像的V通道首先通过多尺度卷积进行不同尺度的特征提取，然后将提取到的特征进行拼接操作，从而获得信息更加丰富的特征。多尺度卷积块结构如图4所示。本发明中采用的多尺度卷积如下公式表示：
其中F(x)表示多尺度卷积操作，f1(x)，f3(x)，f5(x)分别为表示卷积核尺寸为1，3，5的卷积操作，x是多光谱图像或全色图像，
表示拼接(Concatenation)操作。
为了保留融合图像中更多的图像细节信息和色彩信息，本发明在编码器中采用了残差块结构，残差块结构如图5所示，残差块表示为如下公式：
G(x)＝x+g(x)
其中G(x)表示残差块操作函数，x表示残差块的输入，g(x)表示残差块结构中的中间操作，主要包括空洞卷积操作(atrous convolution,atrous_Conv)，批正则化处理(BatchNormalization，BN)以及激活函数(Rectified Linear Unit，ReLU)等等,+表示加法(Add)操作。
经过编码器编码后，分别得到全色图像和多光谱HSV图像V通道的独有特征。公式表示如下：
fMS＝EMS(xMS_V)，fPAN＝EPAN(xPAN)。
其中fMS，fPAN分别表示经过编码器的编码处理，获得的多光谱图像特征和全色图像特征。EPAN()，EMS()是双胞胎编码器的编码操作，xPAN，xMS_V是编码器的输入，分别表示多光谱图像的V通道和全色图像。
C.将编码后得到的全色图像的特征和多光谱HSV图像V通道的特征进行拼接，拼接结果输入到解码器的第一层；同时将经过两个编码器中的每一层卷积获得的特征图与解码器的对应层进行拼接，从而保留源图像更多的细节信息，以便更好的进行V通道图像重构。解码器解码后获得融合后的V通道。解码器结果如图3所示。
在本实施例中，解码器采用跳层连接方式，如以下公式表示：
x1＝c(x)，x2＝c(x1)，以此类推，xi＝c(xi-1),(1≤i≤8)。
其中x表示编码器的输入，即多光谱图像的V通道或全色图像，xi表示编码器第i层的输出，c()表示编码器的中间操作，主要包括卷积操作，批正则化处理，激活函数等等。yj表示解码器第j层的输出，d()表示解码器的中间操作，主要包括反卷积操作，批正则化处理，dropout操作，激活函数等等。
表示拼接(Concatenation)操作,即跳层连接。编码器结构(双胞胎结构)及其与解码器间的跳层连接结构如图6所示。
D.将解码后获得的融合后的V通道，分别与全色图像和多光谱HSV图像V通道输入到鉴别器中进行鉴别，并且将鉴别结果反馈到生成器以调整生成器参数。公式表示如下：
其中
分别表示鉴别器判定为真实的结果，/>
分别表示鉴别器判定为虚假的结果。G()表示生成器，DPAN()是用于鉴别融合后的V通道与全色图像的鉴别器，DMS()是用于鉴别融合后的V通道和多光谱HSV图像V通道的鉴别器。xMS_V，xPAN是生成器的输入，同时也作为鉴别器进行鉴别的辅助条件，分别表示多光谱HSV图像的V通道和全色图像。其中鉴别器DPAN需要鉴别的内容是新的融合后的V通道和全色图像之间的相似程度。鉴别器DMS需要鉴别的内容是新的融合后的V通道与多光谱图像中的V通道之间的相似程度。鉴别方式是在给定的条件下指导鉴别器进行鉴别，对于鉴别器DMS而言，给定条件是多光谱HSV图像的V通道。对于鉴别器DPAN而言，给定条件是全色图像。这里的鉴别器是训练好的神经网络。鉴别器的鉴别结果为融合后的V通道与真实源图像(多光谱图像V通道和全色图像)之间的相似概率。
对于鉴别结果的反馈过程，本发明设计了一种对抗损失函数，将最小二乘生成对抗网络(Least Squares Generative Adversarial Networks，LSGANs)的损失函数(最小二乘损失)与L1损失相结合。该对抗损失函数可以表示为如下公式：
LL1_MS(G)＝E(xMS_V,xPAN)～Pdata(xMS_V,xPAN)[||G(xMS_V,xPAN)-xMS_V||1]， (3)
LL1_PAN(G)＝E(xMS,xPAN)～Pdata(xMS,xPAN)[||G(xMS,xPAN)-xPAN||1]， (4)
LL1(G)＝0.3*LL1_MS(G)+0.7*LL1_PAN(G)， (5)
L(G)＝Lgen(G)+λLL1(G)， (6)
其中Lgen(G)，
是对抗损失，分别表示生成器的损失函数和鉴别器的损失函数。LL1(G)是L1损失，表示源V通道图像和融合后的V通道图像之间的像素损失，LL1_MS(G)和LL1_PAN(G)分别表示源多光谱图像的V通道、全色图像与融合V通道之间的损失函数。L(G)表示最终的生成器的损失函数，其中λ表示LL1(G)损失的权重，在本发明中，λ＝100。G表示生成器，/>
表示用于鉴别融合后的V通道与多光谱图像中V通道的鉴别器，/>
表示用于鉴别全色图像和融合后的V通道的鉴别器。xMS_V，xPAN分别表示全色图像和多光谱图像，|| ||1表示L1范数操作。
将鉴别器输出的判别概率输入到对抗损失函数中得到损失值，以对生成器网络进行优化，更新生成器的相关参数。重复执行上述步骤B～D若干次后，即可使得生成器的参数趋于稳定，即鉴别器与生成器之间达到了一个平衡点。从技术层面来讲，生成器每融合一次V通道，鉴别器均需要鉴别其真实性(即与源图像间的相似概率)，在生成器所融合的V通道对于鉴别器而言，满足真实性要求时(即鉴别器鉴别通过时)，即生成器与鉴别器之间达到纳什平衡时，鉴别器的结果不再对生成器产生影响。此时，执行后续步骤。
E.将生成器最后融合的V通道与多光谱HSV图像的H、S通道进行拼接后获得HSV融合图像。
F.对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。逆变换过程如下：
xFused_RGB＝HSV_BGR(xFused)，
其中xFused表示HSV融合图像，xFused_RGB表示RGB融合图像，HSV_BGR()是颜色空间转换函数。
实施例三
本实施例公开了一种半监督多光谱和全色遥感图像融合系统，包括通道提取模块、生成器、鉴别器、图像融合模块和颜色空间转换模块，其中：
通道提取模块被配置为：将RGB颜色空间的多光谱图像转换到HSV颜色空间，并提取HSV颜色空间下多光谱图像的V通道。对于已转换为HSV颜色空间的多光谱图像，则仅提取多光谱图像的V通道。
生成器包括两个编码器和一个与所述编码器对应的解码器，如图2所示，所述编码器的第一层均采用多尺度卷积模块。在一个实施例中，如图4所示，多尺度卷积模块表示如下：
其中F(x)表示多尺度卷积操作，f1(x)，f3(x)，f5(x)分别为表示卷积核尺寸为1，3，5的卷积操作，x是多光谱图像或全色图像，
表示拼接(Concatenation)操作。
两个编码器分别用于对全色图像和所述多光谱图像的V通道进行编码，以分别获得全色图像和多光谱图像V通道的特征，将全色图像和多光谱图像V通道的特征进行拼接并由解码器解码得到融合后的V通道。
编码器采用残差块结构。公式表示如下：
G(x)＝x+g(x)
其中G(x)表示残差块操作函数，x表示残差块的输入，g(x)表示残差块结构中的中间操作，主要包括空洞卷积操作(atrous convolution,atrous_Conv)，批正则化处理(BatchNormalization，BN)以及激活函数(Rectified Linear Unit，ReLU)等等,+表示加法(Add)操作。本实施例的残差块结果如图5所示。
经过编码器的处理，分别得到全色图像和多光谱图像的独有特征。公式表示如下：
fMS＝EMS(xMS_V)，fPAN＝EPAN(xPAN)。
其中fMS，fPAN分别表示经过编码器的编码处理，获得的多光谱图像特征和全色图像特征。EPAN()，EMS()是双胞胎编码器的编码操作，xPAN，xMS_V是编码器的输入，分别表示多光谱图像的V通道和全色图像。
如图6所示，双胞胎编码器与解码器之间，采用跳层连接方式。表示为以下公式：
其中xMS_V，xPAN表示编码器Encoder_MS和编码器Encoder_PAN的输入，即多光谱图像的V通道和全色图像。
分别是编码器Encoder_MS和Encoder_PAN第i层的输出，cMS()，cPAN()分别表示编码器Encoder_MS和Encoder_PAN中卷积模块的操作，主要包括卷积操作，批正则化处理，激活函数等等。yj表示解码器Decoder第j层的输出，d()表示解码器反卷积模块的操作，主要包括反卷积操作，批正则化处理，dropout操作，激活函数等等。/>
表示拼接(Concatenation)操作,即跳层连接。本实施例的解码器结构如图3所示。
鉴别器包括被配置为：将融合后的V通道分别和全色图像和多光谱图像的V通道进行鉴别，并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数。
在一个实施例中，鉴别结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数。该对抗损失函数将最小二乘生成对抗网络(Least SquaresGenerative Adversarial Networks，LSGANs)的损失函数(最小二乘损失)与L1损失相结合。该对抗损失函数可以表示为如下公式：
LL1_MS(G)＝E(xMS_V,xPAN)～Pdata(xMS_V,xPAN)[||G(xMS_V,xPAN)-xMS_V||1]， (3)
LL1_PAN(G)＝E(xMS,xPAN)～Pdata(xMS,xPAN)[||G(xMS,xPAN)-xPAN||1]， (4)
LL1(G)＝0.3*LL1_MS(G)+0.7*LL1_PAN(G)， (5)
L(G)＝Lgen(G)+λLL1(G)， (6)
其中Lgen(G)，
是对抗损失，分别表示生成器的损失函数和鉴别器的损失函数。LL1(G)是L1损失，表示源V通道图像和融合后的V通道图像之间的像素损失，LL1_MS(G)和LL1_PAN(G)分别表示源多光谱图像的V通道、全色图像与融合V通道之间的损失函数。L(G)表示最终的生成器的损失函数，其中λ表示LL1(G)损失的权重，在本发明中，λ＝100。G表示生成器，/>
表示用于鉴别融合后的V通道与多光谱图像中V通道的鉴别器，/>
表示用于鉴别全色图像和融合后的V通道的鉴别器。xMS_V，xPAN分别表示全色图像和多光谱图像，|| ||1表示L1范数操作。
图像融合模块被配置为：将鉴别器鉴别通过的所述融合后的V通道，以及所述多光谱图像的H、S通道进行拼接，得到HSV融合图像。
颜色空间转换模块被配置为：对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
实施例四
本实施例选取了多种遥感图像作为融合图像，以验证本发明的基于条件生成对抗网络和双胞胎U型网络结构的半监督遥感图像融合方法的性能。如图7～10所示，其中，(a)、(b)、(c)、(d)、(e)、(f)、(g)、(h)、(i)、(j)、(k)和(l)分别代表全色(Panchromatic，PAN)图像、多光谱(Multispectral，MS)图像、主成分分析法(Principal Component Analysis，PCA)、梯度金字塔(Gradient Pyramid，GRA)、DBSS小波变换、(DWT with DBSS,DWB)、拉普拉斯金字塔(Laplacian Pyramid，LAP)、双树-复小波变换(Dual-Tree Complex WaveletTransform，DTDWT)、基于小波变换和稀疏表示的泛锐化方法(Pan-Sharpening Methodwith Wavelet Transform and Sparse Representation，WTSR)、快速滤波图像融合(FastFiltering Image Fusion，FFIF)、多尺度图像与视频融合(Multi-scale Guided Imageand Video Fusion，MGIVF)、静态小波(Stationary Wavelet Transform，SWT)和本发明所提方法融合的结果。为了更好的对融合结果进行分析和对比，采用空间频率(SpaceFrequency，SF)、边缘特征相似度(Edge Based on Similarity Measure，Qabf)整体信息损失(Labf)、互信息(Mutual Information，MI)等客观评价标准进行了计算，得到的结果如表1所示。总体而言，本文方法的融合结果在各项客观评价指标上都要优于现存的方法，这也从客观角度有效地说明了本发明所提方法的融合性能要优于其他各种方法。从图中可知，本发明提出的方法在图像细节和清晰度方面具有较强的竞争力，且具有优秀的视觉效果。在客观指标方面，由于大多数客观指标都比现存方法要好，本方法也同样具有相当大的竞争优势。
表1不同方法的评估指标
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (5)
1.一种半监督多光谱和全色遥感图像融合方法，其特征在于，包括以下步骤：
A．提取从RGB颜色空间转换到HSV颜色空间的多光谱图像中的V通道；
反复执行下述步骤B～D，直至鉴别器鉴别通过；
B．利用生成器分别对全色图像和所述多光谱图像的V通道进行编码，编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作，以分别获得全色图像和多光谱图像V通道的特征；
C．生成器将编码后获得的全色图像和多光谱图像V通道的特征进行拼接，对拼接特征进行解码，以获得融合后的V通道；
D．将融合后的V通道，分别与全色图像和多光谱图像的V通道利用鉴别器进行鉴别；并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数，具体为：将鉴别器输出的结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数；所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成；
E．将生成器最后融合的V通道与多光谱图像的H、S通道进行拼接后获得HSV融合图像；
F．对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
2.如权利要求1所述的半监督多光谱和全色遥感图像融合方法，其特征在于，所述生成器包括两个编码器和一个解码器，两个编码器分别对全色图像和所述多光谱图像V通道进行编码，所述解码器对拼接特征进行解码；所述编码器采用残差块结构。
3.如权利要求2所述的半监督多光谱和全色遥感图像融合方法，其特征在于，所述编码器与解码器之间，采用跳层连接结构。
4.一种半监督多光谱和全色遥感图像融合系统，其特征在于，包括通道提取模块、生成器、鉴别器、图像融合模块和颜色空间转换模块，其中：
通道提取模块被配置为：将RGB颜色空间的多光谱图像转换到HSV颜色空间，并提取HSV颜色空间下多光谱图像的V通道；
生成器包括两个编码器和一个与所述编码器对应的解码器，所述编码器采用残差块结构，所述编码器的第一层均采用多尺度卷积模块，两个编码器分别用于对全色图像和所述多光谱图像的V通道进行编码，以分别获得全色图像和多光谱图像V通道的特征，将全色图像和多光谱图像V通道的特征进行拼接并由解码器解码得到融合后的V通道；
鉴别器包括被配置为：将融合后的V通道分别和全色图像和多光谱图像的V通道进行鉴别，并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数，所述鉴别器将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数的方法为：将鉴别结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数；所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成；
图像融合模块被配置为：将鉴别器鉴别通过的所述融合后的V通道，以及所述多光谱图像的H、S通道进行拼接，得到HSV融合图像；
颜色空间转换模块被配置为：对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。
5.如权利要求4所述的半监督多光谱和全色遥感图像融合系统，其特征在于，所述编码器与所述解码器之间，采用跳层连接结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099004.5A CN111340743B (zh) | 2020-02-18 | 2020-02-18 | 一种半监督多光谱和全色遥感图像融合方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010099004.5A CN111340743B (zh) | 2020-02-18 | 2020-02-18 | 一种半监督多光谱和全色遥感图像融合方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340743A CN111340743A (zh) | 2020-06-26 |
| CN111340743B true CN111340743B (zh) | 2023-06-06 |
Family
ID=71183464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010099004.5A Active CN111340743B (zh) | 2020-02-18 | 2020-02-18 | 一种半监督多光谱和全色遥感图像融合方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340743B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298206B (zh) * | 2021-12-24 | 2024-05-24 | 北京理工大学 | 一种眼底图像域转换方法及系统 |
| CN114708476A (zh) * | 2022-04-06 | 2022-07-05 | 哈尔滨航天恒星数据系统科技有限公司 | 基于pcgp的多源遥感影像融合识别方法及其中pcgp的应用 |
| CN115829009B (zh) * | 2022-11-08 | 2024-10-29 | 重庆邮电大学 | 隐私保护下基于半监督联邦学习的数据增强方法 |
| CN116468645B (zh) * | 2023-06-20 | 2023-09-15 | 吉林大学 | 一种对抗性高光谱多光谱遥感融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636768A (zh) * | 2018-12-12 | 2019-04-16 | 中国科学院深圳先进技术研究院 | 遥感影像融合方法、装置及电子设备 |
| CN109801218A (zh) * | 2019-01-08 | 2019-05-24 | 南京理工大学 | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006113583A2 (en) * | 2005-04-15 | 2006-10-26 | Mississippi State University | Remote sensing imagery accuracy analysis method and apparatus |
| CN102063710B (zh) * | 2009-11-13 | 2013-01-16 | 中国科学院烟台海岸带研究所 | 一种遥感图像融合增强的实现方法 |
| US9443488B2 (en) * | 2014-10-14 | 2016-09-13 | Digital Vision Enhancement Inc | Image transforming vision enhancement device |
| CN105139371B (zh) * | 2015-09-07 | 2019-03-15 | 云南大学 | 一种基于pcnn与lp变换的多聚焦图像融合方法 |
| CN108537742B (zh) * | 2018-03-09 | 2021-07-09 | 天津大学 | 一种基于生成对抗网络的遥感图像全色锐化方法 |
| CN108765361A (zh) * | 2018-06-06 | 2018-11-06 | 中国电子科技集团公司第二十九研究所 | 一种自适应的全色与多光谱图像融合方法 |
-
2020
- 2020-02-18 CN CN202010099004.5A patent/CN111340743B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636768A (zh) * | 2018-12-12 | 2019-04-16 | 中国科学院深圳先进技术研究院 | 遥感影像融合方法、装置及电子设备 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109801218A (zh) * | 2019-01-08 | 2019-05-24 | 南京理工大学 | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习特征提取的遥感影像配准;许东丽;胡忠正;;航天返回与遥感(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340743A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340743B (zh) | 一种半监督多光谱和全色遥感图像融合方法和系统 | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| Zhou et al. | Pyramid fully convolutional network for hyperspectral and multispectral image fusion | |
| Zhao et al. | A spectral–structural bag-of-features scene classifier for very high spatial resolution remote sensing imagery | |
| US8478061B2 (en) | System and method for reducing dimensionality of hyperspectral images | |
| CN114187450B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| Fu et al. | Joint camera spectral sensitivity selection and hyperspectral image recovery | |
| Li et al. | DMNet: A network architecture using dilated convolution and multiscale mechanisms for spatiotemporal fusion of remote sensing images | |
| CN102324047B (zh) | 基于稀疏核编码skr的高光谱图像地物识别方法 | |
| CN111274869A (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
| CN112966580B (zh) | 基于深度学习和超分辨率的遥感图像绿潮信息提取方法 | |
| CN105719322A (zh) | 一种基于自乘矩阵变换的多光谱图像压缩方法 | |
| CN114639002A (zh) | 一种基于多模式特征的红外与可见光图像融合方法 | |
| CN116503292A (zh) | 一种基于SwinIR的高光谱遥感图像去噪方法 | |
| Kalinicheva et al. | Neural network autoencoder for change detection in satellite image time series | |
| CN113421258A (zh) | 一种基于高分辨率遥感影像的自动云检测方法 | |
| CN113628111B (zh) | 基于梯度信息约束的高光谱图像超分辨方法 | |
| CN115439431A (zh) | 基于光谱损失函数的栈式降噪自编码器和协同表示的高光谱异常检测方法 | |
| CN115131258A (zh) | 一种基于稀疏张量先验的高光谱、多光谱和全色图像融合方法 | |
| CN105719323A (zh) | 一种基于优化图谱理论的高光谱降维方法 | |
| CN117593666B (zh) | 一种极光图像的地磁台站数据预测方法及系统 | |
| Liu et al. | Multimodal sensors image fusion for higher resolution remote sensing pan sharpening | |
| CN109460788B (zh) | 基于低秩-稀疏信息组合网络的高光谱图像分类方法 | |
| Barman et al. | A deep learning-based joint image super-resolution and deblurring framework | |
| CN117392327A (zh) | 一种基于先验图像和自编码器模型的高光谱图像重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200626 Assignee: Yunnan Rongchuan Information Technology Co.,Ltd. Assignor: YUNNAN University Contract record no.: X2024980016970 Denomination of invention: A semi supervised multispectral and panchromatic remote sensing image fusion method and system Granted publication date: 20230606 License type: Open License Record date: 20240930 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200626 Assignee: YUNNAN SOUTHERN STAR TECHNOLOGY DEVELOPMENT CO.,LTD. Assignor: YUNNAN University Contract record no.: X2024980038483 Denomination of invention: A semi supervised multispectral and panchromatic remote sensing image fusion method and system Granted publication date: 20230606 License type: Open License Record date: 20241218 |