CN113888413B - 异时异源多光谱图像盲光谱超分辨方法及系统 - Google Patents
异时异源多光谱图像盲光谱超分辨方法及系统 Download PDFInfo
- Publication number
- CN113888413B CN113888413B CN202111460754.1A CN202111460754A CN113888413B CN 113888413 B CN113888413 B CN 113888413B CN 202111460754 A CN202111460754 A CN 202111460754A CN 113888413 B CN113888413 B CN 113888413B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- network
- spectral
- image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003595 spectral effect Effects 0.000 claims abstract description 192
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 14
- 238000012952 Resampling Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims description 27
- 238000011478 gradient descent method Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 description 29
- 230000015556 catabolic process Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 238000013507 mapping Methods 0.000 description 8
- 230000003042 antagnostic effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003115 biocidal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种异时异源多光谱图像盲光谱超分辨方法及系统，包括：根据预设的第一、第二阈值分别对异时异源的第一、第二光谱图像进行提取筛选得到第一新光谱图像块集合和第二新光谱图像块集合；搭建对抗生成网络，将第一新光谱图像块集合和第二新光谱图像块集合输入至对抗生成网络进行训练得到训练好的对抗生成网络；将对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用光谱下采样矩阵重采样第一光谱图像得到第二图像；搭建光谱超分辨率网络，根据第一光谱图像和第二图像对光谱超分辨率网络进行训练得到训练好的光谱超分辨率网络；将第二光谱图像输入至训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像。
Description
技术领域
本发明属于图像处理领域，特别是涉及一种异时异源多光谱图像盲光谱超分辨方法及系统。
背景技术
图像的分辨率是由成像传感器所决定的，随着图像的空间和光谱特性在航天航空、地质勘探、精准农业和环境科学等领域中的广泛应用，对于图像空间分辨率和光谱分辨率的要求越来越高，但两者之间却存在天然的矛盾。
提升成像硬件来增强成像质量需要耗费极大的人力物力与时间，且难度越来越大，通过算法可以有效地提升图像分辨率。算法提升图像空间分辨率或光谱分辨率的有效方法是利用完全匹配的高/低分辨率图像对演算超分辨率模型。然而，实际应用中非常难获得完全匹配的高/低分辨率图像对，估计图像分辨率的退化过程成为了必要条件，再基于图像空间退化或者光谱退化过程反演超分辨率模型。图像空间退化关系因成像位置不同而不同，较难建立统一表达的退化模型，而图像光谱退化关系因为仅与传感器有关，可以在各位置建立同一的退化模型，从而保证了反演结果的准确。异源多光谱图像因为成像条件和时间的差异，覆盖地物情况存在巨大差异，不能通过简单的拟合来获取图像间光谱退化模型，所以实现异时异源多光谱图像盲光谱超分辨率的关键在于估计异时异源多光谱图像间的光谱退化关系，亟需一种异时异源多光谱图像盲光谱超分辨方法来估计异时异源多光谱图像间的光谱退化关系。
发明内容
针对以上技术问题，本发明提供一种异时异源多光谱图像盲光谱超分辨方法及系统。
本发明解决其技术问题采用的技术方案是：
异时异源多光谱图像盲光谱超分辨方法，方法包括以下步骤：
步骤S100：对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；
步骤S200：根据预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
步骤S300：搭建对抗生成网络，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络；
步骤S400：将对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用光谱下采样矩阵重采样第一光谱图像I HSI 得到第二图像I GLSI ；
步骤S500：搭建光谱超分辨率网络，根据第一光谱图像I HSI 和第二图像I GLSI 对光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
步骤S600：将第二光谱图像I LSI 输入至训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像。
优选地，步骤S200包括：
步骤S210：逐一计算第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 中每一图像块的方差；
步骤S220：保留第一光谱图像块集合P HSI 中方差小于预设的第一阈值的图像块作为第一新光谱图像块集合P SHSI ，保留第二光谱图像块集合P LSI 中方差小于预设的第二阈值的图像块作为第二新光谱图像块集合P SLSI 。
优选地，对抗生成网络包括生成网络和判别网络，生成网络连接判别网络，
生成网络包含线性变化的6层卷积层，每层卷积层的卷积核大小均为1×1，第1层到第5层卷积层的卷积核数量为64，第6层卷积层的卷积核数量为第二光谱图像I LSI 的光谱波段数量，第6层卷积层的输出经过求绝对值后输出；
所述判别网络包括不含全连接层的8层网络，第一层卷积层采用64组核大小为7×7的卷积，第2-7层卷积层均采用64组核大小为1×1的卷积，所述第2-7层卷积层后接批次归一化层和激活层，第8层卷积层采用64组核大小为1×1的卷积后增加谱归一化操作，对最终的特征输出进行逐点sigmoid函数处理判定真/伪，并逐点计算梯度进行反向传播更新网络参数。
优选地，步骤S300包括：
步骤S310：将第一新光谱图像块集合P SHSI 输入生成网络得到第二新光谱图像块P GLSI ；
步骤S320：将第二新光谱图像块P SLSI 和第二新光谱图像块集合P GLSI 输入判别网络得到真/伪结果；
步骤S330：根据真/伪结果和设定的判别器损失函数采用梯度下降法更新判别网络参数，再根据真/伪结果和设定的生成器损失函数采用梯度下降法更新生成网络参数，在更新判别网络参数时固定生成网络参数不变，在更新生成网络参数时固定判别网络参数不变；
步骤S340：重复步骤S330预设次数得到最后的生成网络参数和判别网络参数，得到训练好的对抗生成网络。
优选地，步骤S330中设定的判别器损失函数具体为：
D=argmax(||D(P SLSI )||1+||D(G(P SHSI ))-1||1)
其中，D为判别器的网络参数，G为生成器的网络参数，D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，D(G(P SHSI ))为第二新光谱图像块集合P GLSI 输入判别器后的输出即真/伪结果，
表示当
为最大值时的
取值，
表示一范数。
优选地，步骤S330中设定的生成器损失函数具体为：
G=argmin(||D(P SLSI )||1+||D(G(P SHSI ))-1||1+R(G))
其中，G为生成器的网络参数，D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，R(G)为针对的生成器的正则项，
表示当
为最小值时的
取值。
优选地，生成器的正则项R(G)具体为：
R(G)=λ1·Gnorm+λ2·Gboundary+λ3·Gcenter+λ4·Gnons
Gnorm=||Gkernel-Gnormalization||2
Gboundary= Gkernel·F(1- Gnormalization)
其中，λ1、λ2、λ3和λ4为对应的动态变化，Gkernel为通过生成器估计的光谱下采样矩阵，p、n为坐标位置，
为（p, n）位置的光谱采样值，Gnormalization为取不同平均值时正态分布组成的光谱下采样矩阵，Gnorm表示Gkernel与Gnormalization之间的差异，Gboundary通过掩膜F(1- Gnormalization)控制光谱下采样矩阵的采样值往中心靠拢，c为第二光谱图像I LSI 的波段数，b为第一光谱图像I HSI 的波段数，Hn为估计采样向量的波峰位置，Gcenter表示各波段采样向量质心与预计波峰位置的偏差，Gnons表示各点的二范数，
表示二范数。
异时异源多光谱图像盲光谱超分辨系统，包括：
图像块提取模块，用于对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；
图像块筛选模块，用于根据预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
对抗生成网络训练模块，用于搭建对抗生成网络，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络；
重采样模块，用于将训练好的对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用光谱下采样矩阵重采样第一光谱图像I HSI 得到第二图像I GLSI ；
光谱超分辨率网络训练模块，用于搭建光谱超分辨率网络，根据第一光谱图像I HSI 和第二图像I GLSI 对光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
测试模块，用于将第二光谱图像I LSI 输入至训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像。
上述异时异源多光谱图像盲光谱超分辨方法及系统，首先对异时异源多光谱图像均进行分块操作以获取图像块，基于预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选获取平滑图像块，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络，可以获得能较好估计光谱退化过程的生成网络；通过转换计算可以获得光谱下采样矩阵，利用该光谱下采样矩阵对较多光谱图像进行重采样以获取相匹配的图像对以训练光谱超分辨率网络，最后使用该网络对原较少光谱图像进行光谱超分。本发明使得在异时异源多光谱图像覆盖区域无法匹配时，以对抗生成网络中的博弈来获取不匹配图像间隐藏的光谱映射关系，从而获得异时异源多光谱图像间的光谱分辨率退化模型，建立起两者之间的显性联系，根据此显性退化关系反演出光谱超分辨率网络，具有重要的理论意义和实际价值。
附图说明
图1为本发明一实施例提供的异时异源多光谱图像盲光谱超分辨方法的流程图；
图2为本发明另一实施例提供的异时异源多光谱图像盲光谱超分辨方法的基本流程框架图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，异时异源多光谱图像盲光谱超分辨方法，方法包括以下步骤：
步骤S100：对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；
步骤S200：根据预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
步骤S300：搭建对抗生成网络，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络；
步骤S400：将对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用光谱下采样矩阵重采样第一光谱图像I HSI 得到第二图像I GLSI ；
步骤S500：搭建光谱超分辨率网络，根据第一光谱图像I HSI 和第二图像I GLSI 对光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
步骤S600：将第二光谱图像I LSI 输入至训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像。
具体地，第一光谱图像为较多光谱图像（或高光谱分辨率图像），第二光谱图像为较少光谱图像（或低光谱分辨率图像），对于同一种图像，光谱波段数量一致，在此基础上分为较多光谱图像和较少光谱图像。盲光谱超分辨率是指对未知退化类型的低光谱分辨率图像进行光谱超分辨率恢复。
上述方法首先对异时异源多光谱图像均进行分块操作以获取图像块，基于预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选获得平滑图像块，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络，可以获得能较好估计光谱退化过程的生成网络；通过转换计算可以获得光谱下采样矩阵，利用该光谱下采样矩阵对较多光谱图像进行重采样以获取相匹配的图像对以训练光谱超分辨率网络，最后使用该网络对原较少光谱图像进行光谱超分。本发明使得在异时异源多光谱图像覆盖区域无法匹配时，以对抗生成网络中的博弈来获取不匹配图像间隐藏的光谱映射关系，从而获得异时异源多光谱图像间的光谱分辨率退化模型，建立起两者之间的显性联系，根据此显性退化关系反演出光谱超分辨率网络，具有重要的理论意义和实际价值。
在一个实施例中，步骤S200包括：
步骤S210：逐一计算第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 中每一图像块的方差；
步骤S220：保留第一光谱图像块集合P HSI 中方差小于预设的第一阈值的图像块作为第一新光谱图像块集合P SHSI ，保留第二光谱图像块集合P LSI 中方差小于预设的第二阈值的图像块作为第二新光谱图像块集合P SLSI 。
具体地，对获得的P HSI 和P LSI 逐一计算它们的方差σ 2 HSI 和σ 2 LSI ，同时针对异源的图像块设置阈值λ HSI 和λ LSI ，仅保留P HSI 中σ 2 HSI 小于λ HSI 的图像块P SHSI 和P LSI 中σ 2 LSI 小于λ LSI 的图像块P SLSI ，从而减轻异源图像间因为分辨率不同和噪声不同造成的图像差异，可根据实际情况设置不同的λ HSI 和λ LSI ，在本实施例中，λ HSI 和λ LSI 设置为20。
在一个实施例中，对抗生成网络包括生成网络和判别网络，生成网络连接判别网络，
生成网络包含线性变化的6层卷积层，每层卷积层的卷积核大小均为1×1，第1层到第5层卷积层的卷积核数量为64，第6层卷积层的卷积核数量为第二光谱图像I LSI 的光谱波段数量，第6层卷积层的输出经过求绝对值后输出；
判别网络采用所述判别网络包括不含全连接层的8层网络，第一层卷积层采用64组核大小为7×7的卷积，第2-7层卷积层均采用64组核大小为1×1的卷积，所述第2-7层卷积层后接批次归一化层和激活层，第8层卷积层采用64组核大小为1×1的卷积后增加谱归一化操作，对最终的特征输出进行逐点sigmoid函数处理判定真/伪，并逐点计算梯度进行反向传播更新网络参数。
具体地，设计对抗生成网络，其中生成器仅由1Í1卷积层的组成，以拟合真实的光谱下采样矩阵，符合实际光谱下采样过程中线性且各像素点之间无干扰的特性，进一步地，生成器仅包含线性变化的卷积层，共6层卷积层，每层卷积层的卷积核大小均为1×1，卷积核数量从第1层到第5层均为64，第6层卷积层卷积核数量为较少光谱图像光谱波段数量，最后一层卷积层的输出经过求绝对值后输出。
为了保障判别器能在图像块全局范围内提取信息，判别器使用不含全连接层的8层网络，第1层卷积层采用64组核大小为7×7的卷积减小输入图像的大小，第2-7层均采用64组核大小为1×1的卷积提取特征，每层卷积层后接批次归一化层和激活层，第8层在采用64组核大小为1×1的卷积基础上增加谱归一化操作，对最后一层的输出逐点sigmoid函数处理判定真/伪，并逐点计算梯度进行方向传播，并假设真实标签为全1（全真）或全0（全伪）。
在一个实施例中，步骤S300包括：
步骤S310：将第一新光谱图像块集合P SHSI 输入生成网络得到第二新光谱图像块P GLSI ；
步骤S320：将第二新光谱图像块P GLSI 和第二新光谱图像块集合P SLSI 输入判别网络得到真/伪结果；
步骤S330：根据真/伪结果和设定的判别器损失函数采用梯度下降法更新判别网络参数，再根据真/伪结果和设定的生成器损失函数采用梯度下降法更新生成网络参数，在更新判别网络参数时固定生成网络参数不变，在更新生成网络参数时固定判别网络参数不变；
步骤S340：重复步骤S330预设次数得到最后的生成网络参数和判别网络参数，得到训练好的对抗生成网络。
具体地，首先通过生成对抗的方式建立关联，通过将光谱下采样矩阵转换为生成网络的多层卷积层，判别网络用于区分生成的光谱退化图像块和原较少光谱图像块，然后交替迭代生成网络和判别网络形成对抗，最终获得能较好估计真实光谱退化过程的生成网络，对抗生成网络训练完成后，生成网络的映射即为获取的异时异源多光谱图像间光谱退化过程，进而获得匹配的高/低光谱分辨率图像对以训练光谱超分辨率网络，此处的高光谱分辨率图像对应到较多光谱图像，低光谱分辨率图像对应到较少光谱图像。
为了使生成网络映射情况能更接近光谱下采样矩阵，我们仅使用多层1Í1卷积层构成生成网络。由于生成网络以回归方式拟合逼近真实光谱下采样矩阵，大量参数使得回归结果极不稳定，结合成像过程和生成网络本身特性，所以在简单的对抗生成之外对生成网络增加更多的约束项，以保障生成网络在迭代初期能朝正确方向收敛，部分约束项的权重在迭代中慢慢减少至零，从而实现生成网络的鲁棒性和稳定性。
网络超参设定如下，网络卷积核参数初始化方法为xavier正态分布初始化，标准差设置为0.1；网络批次归一化层参数设置：平均值为1，标准差为0.02；优化器和学习率：优化方式为Adam，学习率为0.0004。迭代周期具体为：训练覆盖每个样本为一个周期，共迭代3000个周期，生成器和判别器交替迭代，首先训练判别器。
在一个实施例中，步骤S330中设定的判别器损失函数具体为：
D=argmax(||D(P SLSI )||1+||D(G(P SHSI ))-1||1)
其中，D为判别器的网络参数，G为生成器的网络参数，D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，D(G(P SHSI ))为第二新光谱图像块集合P GLSI 输入判别器后的输出即真/伪结果，
表示当
为最大值时的
取值，
表示一范数。
在一个实施例中，步骤S330中设定的生成器损失函数具体为：
G=argmin(||D(P SLSI )||1+||D(G(P SHSI ))-1||1+R(G))
其中，G为生成器的网络参数，D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，R(G)为针对的生成器的正则项，
表示当
为最小值时的
取值。
在一个实施例中，生成器的正则项R(G)具体为：
R(G)=λ1·Gnorm+λ2·Gboundary+λ3·Gcenter+λ4·Gnons
Gnorm=||Gkernel-Gnormalization||2
Gboundary= Gkernel·F(1- Gnormalization)
其中，λ1、λ2、λ3和λ4为对应的动态变化，Gkernel为通过生成器估计的光谱下采样矩阵，p、n为坐标位置，
为（p, n）位置的光谱采样值，Gnormalization为取不同平均值时正态分布组成的光谱下采样矩阵，Gnorm表示Gkernel与Gnormalization之间的差异，Gboundary通过掩膜F(1- Gnormalization)控制光谱下采样矩阵的采样值往中心靠拢，c为第二光谱图像I LSI 的波段数，b为第一光谱图像I HSI 的波段数，Hn为估计采样向量的波峰位置，Gcenter表示各波段采样向量质心与预计波峰位置的偏差，Gnons表示各点的二范数，
表示二范数。
具体地，Gnorm为生成网络初始阶段提供收敛方向，Gboundary通过掩膜F(1-Gnormalization)控制光谱下采样矩阵的采样值往中心靠拢，F(x)为将部分小于某一阈值的数值置零，阈值大小为经验参数，Hn为光谱下采样矩阵在不同波段预计波峰位置附近（可认为是不同波段最大值附近），偏移值为经验取值，可直接取波峰位置，Gcenter使采样向量质心靠近预计波峰，Gnons可避免采样值稀疏。增加合适的正则项约束对抗生成网络，使估计异时异源多光谱图像间的光谱退化过程不会因为陷入局部最优而丧失合理性。
其中λ1为动态变化，初始值为5，每750次迭代减小为原来的十分之一，最终减小至0.000005，Gkernel为通过生成器估计的光谱下采样矩阵，Gnormalization为取不同平均值时正态分布组成的光谱下采样矩阵，平均值位置为光谱下采样矩阵在不同波段预计波峰位置（一般可以通过较少光谱图像的成像参数获取）；λ2设置为0.5，Gboundary= Gkernel·F(1-Gnormalization)，F(x)映射规则为将光谱下采样矩阵x在不同波段预计波谷位置附近若干个像素点置零，位置宽度为经验取值；λ3和λ4初始阶段置零，当λ1小于0.005后，λ3设置为1，λ4设置为5，
，其中c为第二光谱图像的波段数，b为第一光谱图像的波段数，Hn为光谱下采样矩阵在不同波段预计波峰位置附近，偏移值为经验取值，可直接取波峰位置。其中第一项正则项作用是为网络初始阶段提供合理的收敛方向，第二项正则项作用是使得光谱下采样矩阵参数更向波峰位置集中，第三项正则项作用是使得每个波段的采样向量质心落在波峰位置附近，且大值也落在波峰位置附近，为使约束效果更佳，可以对采样向量进行位置平移，以免出现中间数值小两侧数值大的错误分布，第四项正则项作用是抑制光谱下采样矩阵稀疏。
在一个实施例中，如图2所示，图2中第一个虚线框所示为对第一光谱图像I HSI 的重采样和对光谱超分辨率网络的训练，图2中第二个虚线框所示为光谱超分辨率网络的推理过程。光谱超分辨率网络的训练使用第一光谱图像I HSI 和第二图像I GLSI 来完成，训练完成后使用该网络对第二光谱图像I LSI 推理获得所需的光谱超分辨率图像I SRHSI 。综上，本发明方法首先对输入的异时异源多光谱图像均提取平滑图像块；设计生成对抗网络，其中生成器只采用卷积层，判别器采用不含全连接层的全卷积网络，再逐点使用sigmoid函数映射；将第一光谱平滑图像块输入生成器，将输出图像块与第二光谱平滑图像块一起输入判别器，交替迭代生成器和判别器进行博弈训练；训练完成后，通过输入单位矩阵获取生成器的等价映射矩阵，具体操作为向生成器输入长度为b的单位矩阵，即可获得等效的光谱下采样矩阵；用该矩阵重采样第一光谱图像获得匹配的高/低光谱分辨率图像对，从而训练光谱超分辨率网络以对第二光谱图想进行光谱超分辨率。本发明通过建立异时异源多光谱图像间的光谱退化模型，从而解决异时异源多光谱图像不匹配问题，实现异时异源多光谱图像盲光谱超分辨率。
本发明的光谱退化核估计方法与基于正太分布的估计核进行了对比，表1列出了真实结果、基于正太分布的估计核和所发明方法估计核的量化结果比较，量化结果均在同一数据集上获得，但采用了两个不同的待估计光谱下采样矩阵用于展示。表2列出了真实光谱图像对和基于正太分布与所发明方法的估计核分别重采样后的光谱超分辨率结果比较，从各种量化评价指标来评估，所发明方法的估计核重采样结果用于光谱超分辨率网络训练结果明显优于基于正太分布的估计核重采样结果用于光谱超分辨率网络训练结果，说明了在异时异源多光谱图像盲光谱超分辨时，估计它们之间的光谱退化过程具有重要价值和意义，验证了发明方法在估计异时异源多光谱图像间光谱退化关系上的有效性。
表1：不同方式获得的图像对结果比较
表2：不同方式获得的图像对进行光谱超分辨率结果对比
上述方法，首先对异时异源多光谱图像均进行分块操作以获取图像块，并计算所有图像块的方差；基于计算方差采用阈值的方法对所有图像块进行筛选，仅保留小于阈值的图像块；将较多光谱图像块输入生成网络，获得光谱下采样后的退化图像块；将该生成的光谱退化图像块和原较少光谱图像块同时输入判别网络；交替迭代生成网络和判别网络形成对抗，最后可以获得能较好估计光谱退化过程的生成网络，对抗生成网络训练完成后，生成网络的映射即为获取的异时异源多光谱图像间光谱退化过程；通过转换计算可以获得光谱下采样矩阵；利用该光谱下采样矩阵对较多光谱图像进行重采样以获取相匹配的图像对以训练光谱超分辨率网络，最后使用该网络对原较少光谱图像进行光谱超分，本发明使得在异时异源多光谱图像覆盖区域无法匹配时，以对抗生成网络中的博弈来获取不匹配图像间隐藏的光谱映射关系，从而获得异时异源多光谱图像间的光谱分辨率退化模型，建立起两者之间的显性联系，根据此显性退化关系反演出光谱超分辨率网络，具有重要的理论意义和实际价值。
在一个实施例中，异时异源多光谱图像盲光谱超分辨系统，包括：
图像块提取模块，用于对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；
图像块筛选模块，用于根据预设的第一阈值和预设的第二阈值分别对第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
对抗生成网络训练模块，用于搭建对抗生成网络，将第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至对抗生成网络，采用梯度下降法对对抗生成网络进行训练得到训练好的对抗生成网络；
重采样模块，用于将训练好的对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用光谱下采样矩阵重采样第一光谱图像I HSI 得到第二图像I GLSI ；
光谱超分辨率网络训练模块，用于搭建光谱超分辨率网络，根据第一光谱图像I HSI 和第二图像I GLSI 对光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
测试模块，用于将第二光谱图像I LSI 输入至训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像
关于异时异源多光谱图像盲光谱超分辨系统的具体限定可以参见上文中对于异时异源多光谱图像盲光谱超分辨方法的限定，在此不再赘述。
以上对本发明所提供的一种异时异源多光谱图像盲光谱超分辨方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (7)
1.异时异源多光谱图像盲光谱超分辨方法，其特征在于，所述方法包括以下步骤：
步骤S100：对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；其中，所述第一光谱图像I HSI 的光谱分辨率大于所述第二光谱图像I LSI 的光谱分辨率；
步骤S200：根据预设的第一阈值和预设的第二阈值分别对所述第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
步骤S200包括：
步骤S210：逐一计算所述第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 中每一图像块的方差；
步骤S220：保留第一光谱图像块集合P HSI 中方差小于预设的第一阈值的图像块作为第一新光谱图像块集合P SHSI ，保留第二光谱图像块集合P LSI 中方差小于预设的第二阈值的图像块作为第二新光谱图像块集合P SLSI ；
步骤S300：搭建对抗生成网络，将所述第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至所述对抗生成网络，采用梯度下降法对所述对抗生成网络进行训练得到训练好的对抗生成网络；
步骤S400：将所述训练好的对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用所述光谱下采样矩阵重采样所述第一光谱图像I HSI 得到第二图像I GLSI ；
步骤S500：搭建光谱超分辨率网络，根据所述第一光谱图像I HSI 和所述第二图像I GLSI 对所述光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
步骤S600：将所述第二光谱图像I LSI 输入至所述训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述对抗生成网络包括生成网络和判别网络，所述生成网络连接所述判别网络，
所述生成网络包含线性变化的6层卷积层，每层卷积层的卷积核大小均为1×1，第1层到第5层卷积层的卷积核数量为64，第6层卷积层的卷积核数量为第二光谱图像I LSI 的光谱波段数量，第6层卷积层的输出经过求绝对值后输出；
所述判别网络包括不含全连接层的8层网络，第一层卷积层采用64组核大小为7×7的卷积，第2-7层卷积层均采用64组核大小为1×1的卷积，所述第2-7层卷积层后接批次归一化层和激活层，第8层卷积层采用64组核大小为1×1的卷积后增加谱归一化操作，对最终的特征输出进行逐点sigmoid函数处理判定真/伪，并逐点计算梯度进行反向传播更新网络参数。
3.根据权利要求2所述的方法，其特征在于，步骤S300包括：
步骤S310：将第一新光谱图像块集合P SHSI 输入生成网络得到第二新光谱图像块P GLSI ；
步骤S320：将所述第二新光谱图像块P GLSI 和所述第二新光谱图像块集合P SLSI 输入判别网络得到真/伪结果；
步骤S330：根据所述真/伪结果和设定的判别器损失函数采用梯度下降法更新判别网络参数，再根据所述真/伪结果和设定的生成器损失函数采用梯度下降法更新生成网络参数，在更新判别网络参数时固定生成网络参数不变，在更新生成网络参数时固定判别网络参数不变；
步骤S340：重复步骤S330预设次数得到最后的生成网络参数和判别网络参数，得到训练好的对抗生成网络。
4.根据权利要求3所述的方法，其特征在于，步骤S330中设定的判别器损失函数具体为：
D=argmax(||D(P SLSI )||1+||D(G(P SHSI ))-1||1)
其中，D为判别器的网络参数， D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，D(G(P SHSI ))为第二新光谱图像块集合P GLSI 输入判别器后的输出即真/伪结果，
表示当
为最大值时的
取值，
表示一范数。
5.根据权利要求4所述的方法，其特征在于，步骤S330中设定的生成器损失函数具体为：
G=argmin(||D(P SLSI )||1+||D(G(P SHSI ))-1||1+R(G))
其中，G为生成器的网络参数，D(P SLSI )为第二新光谱图像块集合P SLSI 输入判别器后的输出即真/伪结果，G(P SHSI )为第一新光谱图像块集合P SHSI 输入生成器后的输出即第二新光谱图像块P GLSI ，R(G)为针对的生成器的正则项，
表示当
为最小值时的
取值。
6.根据权利要求5所述的方法，其特征在于，生成器的正则项R(G)具体为：
R(G)=λ1·Gnorm+λ2·Gboundary+λ3·Gcenter+λ4·Gnons
Gnorm=||Gkernel-Gnormalization||2
Gboundary= Gkernel·F(1- Gnormalization)
其中，λ1、λ2、λ3和λ4为对应的动态变化，Gkernel为通过生成器估计的光谱下采样矩阵，p、n为坐标位置，
为（p, n）位置的光谱采样值，Gnormalization为取不同平均值时正态分布组成的光谱下采样矩阵，Gnorm表示Gkernel与Gnormalization之间的差异，Gboundary通过掩膜F(1-Gnormalization)控制光谱下采样矩阵的采样值往中心靠拢，c为第二光谱图像I LSI 的波段数，b为第一光谱图像I HSI 的波段数，Hn为估计采样向量的波峰位置，Gcenter表示各波段采样向量质心与预计波峰位置的偏差，Gnons表示各点的二范数，
表示二范数。
7.异时异源多光谱图像盲光谱超分辨系统，其特征在于，包括：
图像块提取模块，用于对异时异源的第一光谱图像I HSI 和第二光谱图像I LSI 按照固定尺寸大小提取得到第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI ；其中，所述第一光谱图像I HSI 的光谱分辨率大于所述第二光谱图像I LSI 的光谱分辨率；
图像块筛选模块，用于根据预设的第一阈值和预设的第二阈值分别对所述第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 进行筛选，得到第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI ；
对抗生成网络训练模块，用于搭建对抗生成网络，将所述第一新光谱图像块集合P SHSI 和第二新光谱图像块集合P SLSI 输入至所述对抗生成网络，采用梯度下降法对所述对抗生成网络进行训练得到训练好的对抗生成网络；
重采样模块，用于将所述训练好的对抗生成网络中的生成网络参数转换为光谱下采样矩阵，利用所述光谱下采样矩阵重采样所述第一光谱图像I HSI 得到第二图像I GLSI ；
光谱超分辨率网络训练模块，用于搭建光谱超分辨率网络，根据所述第一光谱图像I HSI 和所述第二图像I GLSI 对所述光谱超分辨率网络进行训练，得到训练好的光谱超分辨率网络；
测试模块，用于将所述第二光谱图像I LSI 输入至所述训练好的光谱超分辨率网络，得到满足预设要求的光谱分辨率图像；
所述图像块筛选模块包括：
逐一计算所述第一光谱图像块集合P HSI 和第二光谱图像块集合P LSI 中每一图像块的方差；
保留第一光谱图像块集合P HSI 中方差小于预设的第一阈值的图像块作为第一新光谱图像块集合P SHSI ，保留第二光谱图像块集合P LSI 中方差小于预设的第二阈值的图像块作为第二新光谱图像块集合P SLSI 。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111460754.1A CN113888413B (zh) | 2021-12-03 | 2021-12-03 | 异时异源多光谱图像盲光谱超分辨方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111460754.1A CN113888413B (zh) | 2021-12-03 | 2021-12-03 | 异时异源多光谱图像盲光谱超分辨方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113888413A CN113888413A (zh) | 2022-01-04 |
| CN113888413B true CN113888413B (zh) | 2022-02-22 |
Family
ID=79016243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111460754.1A Active CN113888413B (zh) | 2021-12-03 | 2021-12-03 | 异时异源多光谱图像盲光谱超分辨方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888413B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998666B (zh) * | 2022-04-29 | 2024-08-06 | 西安交通大学 | 一种用于图像盲超分辨率增强网络的退化核提取方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
| WO2020188998A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Corporation | Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482576B2 (en) * | 2018-03-19 | 2019-11-19 | Mitsubishi Electric Research Laboratories, Inc. | Systems and methods for multi-spectral image super-resolution |
-
2021
- 2021-12-03 CN CN202111460754.1A patent/CN113888413B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020188998A1 (en) * | 2019-03-19 | 2020-09-24 | Mitsubishi Electric Corporation | Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110660038A (zh) * | 2019-09-09 | 2020-01-07 | 山东工商学院 | 一种基于生成对抗网络的多光谱图像与全色图像融合方法 |
| CN111429349A (zh) * | 2020-03-23 | 2020-07-17 | 西安电子科技大学 | 基于光谱约束对抗网络的高光谱图像超分辨率方法 |
Non-Patent Citations (4)
| Title |
|---|
| 《Blind spectral super-resolution method and system for heterochronous and heterologous multispectral images》;Yanfei Zhong等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20160531;第49-63页 * |
| 《Multiscale Densely-Connected Fusion Networks for Hyperspectral Images Classification》;Jie Xie等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20210131;第246-259页 * |
| 《基于卷积神经网络的高光谱图像信息恢复技术研究》;马顺利;《中国优秀博硕士学位论文全文数据库(硕士)》;20180215;第1-66页 * |
| 《基于多流融合生成对抗网络的遥感图像融合方法》;雷大江等;《电子与信息学报》;20200831;第1942-1949页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113888413A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sun et al. | Deep probabilistic imaging: Uncertainty quantification and multi-modal solution characterization for computational imaging | |
| CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| CN107169535B (zh) | 生物多光谱图像的深度学习分类方法及装置 | |
| Zhussip et al. | Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior | |
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN107507135B (zh) | 基于编码光圈和靶标的图像重构方法 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN106373109A (zh) | 一种医学图像模态合成的方法 | |
| CN112069919A (zh) | 基于非凸低秩矩阵逼近和全变分正则化的高光谱图像去噪方法 | |
| CN109003229B (zh) | 基于三维增强深度残差网络的磁共振超分辨率重建方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| CN108520495B (zh) | 基于聚类流形先验的高光谱图像超分辨重建方法 | |
| CN108765313B (zh) | 基于类内低秩结构表示的高光谱图像去噪方法 | |
| CN105550649A (zh) | 基于全耦合局部约束表示的极低分辨率人脸识别方法及系统 | |
| CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
| CN113962858A (zh) | 一种多视角深度获取方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN113888413B (zh) | 异时异源多光谱图像盲光谱超分辨方法及系统 | |
| Paul et al. | Modified convolutional neural network with pseudo-CNN for removing nonlinear noise in digital images | |
| Xiong et al. | Gradient boosting for single image super-resolution | |
| CN105427249A (zh) | 一种基于鲁棒核范数正则回归的风电图像质量增强方法 | |
| CN117422619A (zh) | 图像重建模型的训练方法、图像重建方法、装置及设备 | |
| CN113838104B (zh) | 基于多光谱与多模态图像一致性增强网络的配准方法 | |
| CN111460966A (zh) | 基于度量学习和近邻增强的高光谱遥感图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |