CN113435243A - 一种高光谱真实下采样模糊核估计方法 - Google Patents
一种高光谱真实下采样模糊核估计方法 Download PDFInfo
- Publication number
- CN113435243A CN113435243A CN202110526123.9A CN202110526123A CN113435243A CN 113435243 A CN113435243 A CN 113435243A CN 202110526123 A CN202110526123 A CN 202110526123A CN 113435243 A CN113435243 A CN 113435243A
- Authority
- CN
- China
- Prior art keywords
- discriminator
- generator
- image
- hyperspectral
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 41
- 238000010586 diagram Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 9
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明属于图像处理技术领域，公开了一种高光谱真实下采样模糊核估计方法，所述高光谱真实下采样模糊核估计方法包括：对待处理高光谱图像4倍下采样；在得到的两个尺度的高光谱图像中以同样大小的搜索框遍历计算图像块对空谱相似度；根据相似度调整遍历步长完成搜索；构建高光谱下采样真实模糊核生成器和判别器；在生成器和判别器交叉训练完成后即可通过生成器模拟生成高光谱图像经过真实核下采样的低分辨率图像。本发明能够模拟高光谱图像真实下采样模糊核，生成真实的高光谱图像超分或融合数据集来突破数据源的瓶颈问题；利用真实图像中存在的共现性，可以从普通的高光谱数据中提取出用于真实高光谱下采样模糊核估计的训练集。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种高光谱真实下采样模糊核估计方法。
背景技术
目前，相对于普通的RGB图像，高光谱图像包含丰富的光谱信息，但是由于辐射传输过程和传感器工艺的限制，导致拍摄的高光谱图像的空间分辨率较低。低空间分辨率无法较好地获取地物细节，极大地限制了高光谱影像后续的地物分类、目标检测等方面的性能。因此提高高光谱图像的空间分辨率是提高遥感图像后续处理性能的必要前提。
目前，将高光谱图像与全色或者RGB图像融合是提高高光谱图像空间分辨率的常用方法，多传感器融合技术可以打破单个传感器在物理上的限制，从而获取高空间和光谱分辨率的遥感图像。作为遥感图像处理领域的研究热点，高光谱图像融合技术已经发展出了许多经典算法。其中具有代表性的方法主要包括：成分替换法、多分辨分析法、贝叶斯法、和矩阵分解法等。近年来，基于深度学习的方法广泛应用于图像处理的各个领域，如目标检测、异常检测、图像分类等，利用深度学习的方法来实现高光谱图像融合也成为了一种新的趋势。
但是这些方法都有其存在的缺陷，对于经典算法，大都无法同时满足空间和光谱平衡从而造成信息丢失；对于现有的深度学习方法，它们大都是在根据wald’s协议生成的理想下采样数据集下完成训练和测试的。在这种情况下，模糊核已知(如双线性插值)且固定，下采样图像几乎不包含噪声，而现实世界图像往往包含大量噪声，也就是说：这种模糊核难以精确模拟降质过程。基于深度学习的真实图像的超分问题在于如何引入精确的降质模型以确保下采样的跌低分图像与原始图像具有同域属性(比如噪声分布，模糊等)。
通过上述分析，现有技术存在的问题及缺陷为：
(1)对于经典算法，大都无法同时满足空间和光谱平衡从而造成信息丢失。
(2)对于现有的深度学习方法，大都是在根据wald’s协议生成的理想下采样数据集下完成训练和测试的，这种模糊核难以精确模拟降质过程。
(3)基于深度学习的真实图像的超分问题在于如何引入精确的降质模型以确保下采样的跌低分图像与原始图像具有同域属性。
解决以上问题及缺陷的难度为：一是图像的降质模型包含真实世界的噪声，需要实验寻找真实降质模型的规律。二是在寻找相似图像块的时候对于尺寸的选择和相似度函数的构建，需要充实的先验知识和大量的实验。
解决以上问题及缺陷的意义为：由于传感器技术和成本的限制，直接获取的低分辨率高光谱影像在后续处理如地物分类，目标检测中无法获得较好的效果。模拟生成的真实数据集可以使超分或者融合算法的效果更加具有真实性，因为在这个数据集训练的过程中涵盖了相机抖动、光学畸变、大气变化等噪声干扰。如果直接通过遥感器获取同一目标区域的两个分辨率的图像，为了减少外界环境的影响，需要两个传感器在相近的时间拍摄，而且需要对图像进行后续的像素对齐工作，这里会消耗大量的资源。所以通过合适的算法有效地模拟生成高光谱真实数据集十分必要。
发明内容
针对现有技术存在的问题，本发明提供了一种高光谱真实下采样模糊核估计方法，尤其涉及一种基于跨尺度共现性的高光谱真实下采样模糊核估计方法。
本发明是这样实现的，一种高光谱真实下采样模糊核估计方法，所述高光谱真实下采样模糊核估计方法，包括：
对待处理高光谱图像4倍下采样；在得到的两个尺度的高光谱图像中以同样大小的搜索框遍历计算图像块对空谱相似度；根据相似度调整遍历步长完成搜索；构建高光谱下采样真实模糊核生成器和判别器；在生成器和判别器交叉训练完成后即可通过生成器模拟生成高光谱图像经过真实核下采样的低分辨率图像。
进一步，所述高光谱真实下采样模糊核估计方法包括以下步骤：
步骤一，获取高相似度图像块对，构建生成对抗网络的数据集；
步骤二，构建高光谱真实下采样模糊核估计的生成器和判别器，设计出符合真实降质模型特点的生成器模型决定着整个网络的效果；
步骤三，将步骤一获取的图像对中的高分辨率图像
输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本q*；
步骤四，将假样本q*输入到判别器，经过判别器的非线性映射，输出假样本q*的真假预测标签Xs，可以使判别器学习到假样本的特征；
步骤五，将步骤一获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本q的真假预测标签X's，可以使判别器学习到真样本的特征；
步骤六，构造生成对抗网络的损失函数，并设计判别器损失函数；设计合适的损失函数可以加快网络训练并使网络收敛到较好的结果。
步骤七，交替训练生成器和判别器，在训练完成后，获取了一个合适的生成器，即真实降质模型；
步骤八，将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像，生成后续融合网络的数据集。
进一步，步骤一中，所述获取高相似度图像块对，包括：
(1)对高光谱图像进行4倍下采样，获得低分辨率的高光谱图像；根据跨尺度共现性，两幅图像中存在分布一致的图像块对；
(2)选择合适的匹配框大小，通过遍历的方式，从高光谱图像和对应的低分高光谱图基于空谱相似度准则来搜索出符合条件的高相似图像块对作为训练下采样模糊核的训练样本；根据空谱相似度选择合适的步长进行遍历：相似度高的区域，步长小，相似度低的区域，步长大；
假设原始高光谱图像中的图像块为
低分高光谱图像中的图像块为
基于空间相关系数CC和光谱角制图SAM构建空谱相似度系数计算公式如下：
C(i,j)＝λ1·[1-CC(qi,rj)]+λ2·[SAM(qi,rj)],s.t.λ1+λ2＝1；
其中，λ1和λ2代表空间相似性和光谱保真度的比重，控制这两个系数来保持空间和光谱相似性的平衡；C(i,j)越小，代表图像块相似度越大，当C(i,j)小于设定的阈值时，认为qi是由rj在高光谱图像中对应位置的rj α经过真实模糊核下采样得到的。
进一步，步骤二中，所述构建高光谱真实下采样模糊核估计的生成器和判别器，包括：
(1)构建生成器，生成器由七层线性卷积层组成；其中，所述生成器的网络结构及参数设置如下：
所述生成器的结构从左到右依次是第一卷积层，第二卷积层...第七卷积层；第一卷积层的卷积核大小为7×7，步长为2，第二卷积层的卷积核大小为5×5，步长为2，第三卷积层的卷积核大小为3×3，第四卷积层到第七卷积层的卷积核大小都是1×1，第三卷积层到第七卷积层的步长为1；
(2)构建判别器，判别器包含3个卷积层和3个全连接层；其中，所述判别器的网络结构及参数设置如下：
第一层为卷积层，卷积核大小为3×3，步长为1，通道数为64；
第二层为最大池化层，池化窗口大小为2×2，步长为1；
第三层为卷积层，卷积核大小为3×3，步长为1，通道数为128；
第四层为最大池化层，池化窗口大小为2×2，步长为1；
第五层为全连接层，全连接层结点数为1024；
第六层为全连接层，全连接层结点数为64；
第七层为全连接层，全连接层结点数为1；
(3)初始化生成器和判别器，卷积层和全连接层的判别器的权重初始化为每个元素值满足正态分布N(0,1)的张量，偏置初始化为每个元素值都为0的张量。
进一步，步骤三中，所述生成器输出高光谱图像的假样本，包括：
(1)将高分辨率的高光谱图像
输入到生成器的第一卷积层，输出分辨率降低为
的1/2的第一特征图g1；
(2)将第一特征图g1输入到生成器的第二卷积层，输出分辨率降低为
的1/4的第二特征图g2；
(3)将第二特征图g2依次经过第三到第七卷积层，尺度不变，输出经过生成器模糊下采的假样本q*。
进一步，步骤四中，所述判别器输出高光谱图像假样本的预测标签，包括：
(1)将假样本输入到判别器的第一卷积层，经过最大池化得到第一输出特征图d1；
(2)将第一输出特征图d1输入到判别器的第二卷积层，经过最大池化得到第二输出特征图d2；
(3)将第二输出特征图依次经过判别器的三个全连接层，得到假样本预测标签Xs。
进一步，步骤六中，所述构造生成对抗网络的损失函数，并设计判别器损失函数，包括：
(1)将符合真实下采样模糊核特性的正则化约束和L1损失相加，得到生成器的损失函数：
其中，正则化约束的计算公式如下：
其中，下采样模糊核k是生成器里面所有的滤波器按顺序卷积的结果，α，β，γ，δ是调节每种损失的权重系数，G(·)代表生成器，L1(·)代表L1损失，公式中每部分损失的作用如下：
Lone鼓励模糊核的值累积为1；Lbound中m为常数加权mask，权重随着与中心的距离增加而指数增大，即越靠近边界的值惩罚越大，值越小；Lsparse鼓励模糊核的稀疏性，纠正优化过程中的错误倾向，产生过于平滑的模糊核；Lcenter鼓励模糊核的质量中心为核的几何中心，其中(x0,y0)是卷积核中心位置；
(2)判别器的损失采用生成对抗网络判别器中的损失函数；
基于WGAN_gp对判别器损失函数进行优化，优化公式如下：
其中，G(·)代表生成器，D(·)代表判别器，
为计算梯度，
为服从正态分布的随机数，||·||2为计算2范数，E[·]为计算均值。
进一步，步骤七中，所述交替训练生成器和判别器，包括：
(1)设置学习率为le-3，训练批次大小为8，优化过程使用SGD算法优化；
(2)初始化迭代次数t＝0，最大迭代次数为1000；
(3)利用梯度下降方法，使用生成器的损失函数更新生成器参数；
(4)利用梯度下降方法，使用判别器的损失函数更新判别器参数；
(5)令t＝t+1；
(6)判断迭代次数t是否等于1000；若是，则生成器和判别器训练完成，否则，返回步骤(3)。
本发明的另一目的在于提供一种应用所述的高光谱真实下采样模糊核估计方法的高光谱真实下采样模糊核估计系统，所述高光谱真实下采样模糊核估计系统包括：
图像块对获取模块，用于获取高相似度图像块对；
生成器和判别器构建模块，用于分别构建高光谱真实下采样模糊核估计的生成器和判别器；
高光谱图像假样本输出模块，用于将获取的图像对中的高分辨率图像
输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本q*；
真假预测标签输出模块，用于将假样本q*输入到判别器，经过判别器的非线性映射，输出假样本q*的真假预测标签Xs；将获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本q的真假预测标签X’s；
损失函数构造模块，用于构造生成对抗网络的损失函数，并设计判别器损失函数；
生成器和判别器训练模块，用于交替训练生成器和判别器；
高光谱图像获取模块，用于将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像。
本发明的另一目的在于提供一种所述的高光谱真实下采样模糊核估计方法在遥感图像处理中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的高光谱真实下采样模糊核估计方法，采用没有非线性激活函数的深度线性网络构建生成器，并通过一系列的真实模糊核约束，使模糊核生成器更加逼近真实模糊核的特性，能够模拟高光谱图像真实下采样模糊核，生成真实的高光谱图像超分或融合数据集来突破数据源的瓶颈问题。
本发明充分利用真实图像中存在的共现性，可以从普通的高光谱数据中提取出用于真实高光谱下采样模糊核估计的训练集。
本发明设计了基于空谱相似度的遍历方法的相似图像块查询方法，根据空谱相似度调整步长，可以大幅减少遍历时间。
本发明根据真实下采样模糊核的特性引入了一系列的正则化损失函数，从模糊核的中心性和稀疏性两个方面使生成的模糊核满足真实下采样模糊核的各种性质。
本发明提出了一种构造真实数据集的方法，可以大大减少获取真实数据集的技术和时间成本，为训练融合模型提供了更可靠的数据集。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的高光谱真实下采样模糊核估计方法流程图。
图2是本发明实施例提供的基于尺度共现性的高光谱真实下采样模糊核估计方法的实现流程图。
图3是本发明实施例提供的高光谱真实下采样模糊核估计方法原理图。
图4是本发明实施例提供的高光谱真实下采样模糊核估计系统结构框图；
图中：1、图像块对获取模块；2、生成器和判别器构建模块；3、高光谱图像假样本输出模块；4、真假预测标签输出模块；5、损失函数构造模块；6、生成器和判别器训练模块；7、高光谱图像获取模块。
图5是本发明实施例提供的生成对抗网络的生成器的示意图。
图6是本发明实施例提供的生成对抗网络的判别器的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种高光谱真实下采样模糊核估计方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的高光谱真实下采样模糊核估计方法包括以下步骤：
S101，获取高相似度图像块对；
S102，构建高光谱真实下采样模糊核估计的生成器和判别器；
S103，将S101获取的图像对中的高分辨率图像输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本；
S104，将假样本输入到判别器，经过判别器的非线性映射，输出假样本的真假预测标签；
S105，将S101获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本的真假预测标签；
S106，构造生成对抗网络的损失函数，并设计判别器损失函数；
S107，交替训练生成器和判别器；
S108，将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像。
本发明实施例提供的高光谱真实下采样模糊核估计方法原理图如图3所示。
如图4所示，本发明实施例提供的高光谱真实下采样模糊核估计系统包括：
图像块对获取模块1，用于获取高相似度图像块对；
生成器和判别器构建模块2，用于分别构建高光谱真实下采样模糊核估计的生成器和判别器；
高光谱图像假样本输出模块3，用于将获取的图像对中的高分辨率图像
输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本q*；
真假预测标签输出模块4，用于将假样本q*输入到判别器，经过判别器的非线性映射，输出假样本q*的真假预测标签Xs；将获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本q的真假预测标签X’s；
损失函数构造模块5，用于构造生成对抗网络的损失函数，并设计判别器损失函数；
生成器和判别器训练模块6，用于交替训练生成器和判别器；
高光谱图像获取模块7，用于将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像。
下面结合实施例对本发明的技术方案作进一步描述。
如图2所示，本发明实施例提供的高光谱图像真实下采样模糊核估计方法，具体步骤如下：
步骤一：获取高相似度图像块对。
(1.1)对高光谱图像进行4倍下采样，获得低分辨率的高光谱图像，根据跨尺度共现性，两幅图像中存在分布一致的图像块对。
(1.2)选择合适的匹配框大小，通过遍历的方式，从高光谱图像和对应的低分高光谱图基于空谱相似度准则来搜索出符合条件的高相似图像块对作为训练下采样模糊核的训练样本。同时，为了减少匹配时间，根据空谱相似度选择合适的步长进行遍历：相似度高的地方，步长小，相似度低的地方，步长大。
构建的基于相关系数和光谱角制图的空谱相似度计算公式如下：
C(i,j)＝λ1·[1-CC(qi,rj)]+λ2·[SAM(qi,rj)],s.t.λ1+λ2＝1；
其中，λ1和λ2代表空间相似性和光谱保真度的比重，控制这两个系数来保持空间和光谱相似性的平衡。C(i，，)越小，代表图像块相似度越大，当小于设定的阈值时，认为图像块qi是由图像块rj在高光谱图像中对应位置图像块
经过真实模糊核下采样得到的。
步骤二：构建高光谱真实下采样模糊核估计的生成对抗网络。
(2.1)构建生成器，生成器由七层线性卷积层组成，生成器的网络结构及参数设置如下：
其结构从左到右依次是第一卷积层，第二卷积层...第七卷积层；第一卷积层的卷积核大小为7×7，步长为2，第二卷积层的卷积核大小为5×5，步长为2，第三卷积层的卷积核大小为3×3，第四卷积层到第七卷积层的卷积核大小都是1×1，第三卷积层到第七卷积层的步长为1。本发明生成对抗网络的生成器如图5所示。
(2.2)构建判别器并设置每层参数。
判别器包括三个卷积层，三个最大池化层和四个全连接层共10层，从左到右依次为：
第一层为卷积层，卷积核大小为3×3，步长为1，通道数为64；
第二层为最大池化层，池化窗口大小为2×2，步长为1；
第三层为卷积层，卷积核大小为3×3，步长为1，通道数为128；
第四层为最大池化层，池化窗口大小为2×2，步长为1；
第五层为全连接层，全连接层结点数为1024；
第六层为全连接层，全连接层结点数为64；
第七层为全连接层，全连接层结点数为1；其中，本发明生成对抗网络的判别器如图6所示。
步骤三：将图像对中的高分辨率图像输入生成器得到假样本。
生成器输出高光谱图像的假样本，其实现如下：
(3.1)将高分辨率的高光谱图像
输入到生成器的第一卷积层，输出分辨率降低为
的1/2的第一特征图g1；
(3.2)将第一特征图g1输入到生成器的第二卷积层，输出分辨率降低为
的1/4的第二特征图g2；
(3.3)将第二特征图g2依次经过第三到第七卷积层，尺度不变，输出经过生成器模糊下采的假样本q*。
步骤四：输入真假样本到判别器得到预测标签。
判别器输出高光谱图像假样本的预测标签，其实现如下：
(4.1)将假样本q*输入到判别器的第一卷积层，经过最大池化得到第一输出特征图d1；
(4.2)将第一输出特征图d1输入到判别器的第二卷积层，经过最大池化得到第二输出特征图d2；
(4.3)将第二输出特征图依次经过判别器的三个全连接层，得到假样本预测标签Xs；
(4.4)判别器输出真样本的预测标签如上述过程一致。
步骤五：设计生成器损失函数。
将符合真实下采样模糊核特性的正则化约束和L1损失相加，得到生成器的损失函数：
其中，下采样模糊核k是生成器里面所有的滤波器按顺序卷积的结果，α，β，γ，δ是调节每种损失的权重系数，G(·)代表生成器，L1(·)代表L1损失，公式中每部分损失的具体作用如下：
Lone鼓励模糊核的值累积为1；Lbound中m为常数加权mask，权重随着与中心的距离增加而指数增大，也就是越靠近边界的值惩罚越大，值越小；Lsparse鼓励模糊核的稀疏性，纠正了优化过程中的错误倾向，从而产生过于平滑的模糊核；Lcenter鼓励模糊核的质量中心为核的几何中心，其中(x0,y0)是卷积核中心位置。
步骤六：设计判别器损失函数。
由于传统的生成对抗网络训练不稳定，容易造成模型坍塌，因此，本项目基于WGAN_gp对判别器损失函数进行优化，优化公式如下：
其中，，G(·)代表生成器，D(·)代表判别器，
为计算梯度，
为服从正态分布的随机数，||·||2为计算2范数，E[·]为计算均值。
步骤七：交替训练生成器和判别器
(7.1)设置学习率为le-3，训练批次大小为8，优化过程使用SGD算法优化；
(7.2)初始化迭代次数t＝0，最大迭代次数为1000；
(7.3)利用梯度下降方法，使用生成器的损失函数更新生成器参数；
(7.4)利用梯度下降方法，使用判别器的损失函数更新判别器参数；
(7.5)令t＝t+1；
(7.6)判断迭代次数t是否等于1000，若是，则生成器和判别器训练完成，否则，返回(7.2)。
步骤八：将待处理的高光谱图像输入到生成器中，得到下采样的高光谱图像。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种高光谱真实下采样模糊核估计方法，其特征在于，所述高光谱真实下采样模糊核估计方法，包括：对待处理高光谱图像4倍下采样；在得到的两个尺度的高光谱图像中以同样大小的搜索框遍历计算图像块对空谱相似度；根据相似度调整遍历步长完成搜索；构建高光谱下采样真实模糊核生成器和判别器；在生成器和判别器交叉训练完成后即可通过生成器模拟生成高光谱图像经过真实核下采样的低分辨率图像。
2.如权利要求1所述的高光谱真实下采样模糊核估计方法，其特征在于，所述高光谱真实下采样模糊核估计方法包括以下步骤：
步骤一，获取高相似度图像块对；
步骤二，构建高光谱真实下采样模糊核估计的生成器和判别器；
步骤三，将步骤一获取的图像对中的高分辨率图像
输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本q*；
步骤四，将假样本q*输入到判别器，经过判别器的非线性映射，输出假样本q*的真假预测标签Xs；
步骤五，将步骤一获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本q的真假预测标签X′s；
步骤六，构造生成对抗网络的损失函数，并设计判别器损失函数；
步骤七，交替训练生成器和判别器；
步骤八，将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像。
3.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤一中，所述获取高相似度图像块对，包括：
(1)对高光谱图像进行4倍下采样，获得低分辨率的高光谱图像；根据跨尺度共现性，两幅图像中存在分布一致的图像块对；
(2)选择合适的匹配框大小，通过遍历的方式，从高光谱图像和对应的低分高光谱图基于空谱相似度准则来搜索出符合条件的高相似图像块对作为训练下采样模糊核的训练样本；根据空谱相似度选择合适的步长进行遍历：相似度高的区域，步长小，相似度低的区域，步长大；
假设原始高光谱图像中的图像块为
低分高光谱图像中的图像块为
基于空间相关系数CC和光谱角制图SAM构建空谱相似度系数计算公式如下：
C(i,j)＝λ1·[1-CC(qi,rj)]+λ2·[SAM(qi,rj)],s.t.λ1+λ2＝1；
其中，λ1和λ2代表空间相似性和光谱保真度的比重，控制这两个系数来保持空间和光谱相似性的平衡；C(i,j)越小，代表图像块相似度越大，当C(i,j)小于设定的阈值时，认为qi是由rj在高光谱图像中对应位置的
经过真实模糊核下采样得到的。
4.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤二中，所述构建高光谱真实下采样模糊核估计的生成器和判别器，包括：
(1)构建生成器，生成器由七层线性卷积层组成；其中，所述生成器的网络结构及参数设置如下：
所述生成器的结构从左到右依次是第一卷积层，第二卷积层...第七卷积层；第一卷积层的卷积核大小为7×7，步长为2，第二卷积层的卷积核大小为5×5，步长为2，第三卷积层的卷积核大小为3×3，第四卷积层到第七卷积层的卷积核大小都是1×1，第三卷积层到第七卷积层的步长为1；
(2)构建判别器，判别器包含3个卷积层和3个全连接层；其中，所述判别器的网络结构及参数设置如下：
第一层为卷积层，卷积核大小为3×3，步长为1，通道数为64；
第二层为最大池化层，池化窗口大小为2×2，步长为1；
第三层为卷积层，卷积核大小为3×3，步长为1，通道数为128；
第四层为最大池化层，池化窗口大小为2×2，步长为1；
第五层为全连接层，全连接层结点数为1024；
第六层为全连接层，全连接层结点数为64；
第七层为全连接层，全连接层结点数为1；
(3)初始化生成器和判别器，卷积层和全连接层的判别器的权重初始化为每个元素值满足正态分布N(0,1)的张量，偏置初始化为每个元素值都为0的张量。
5.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤三中，所述生成器输出高光谱图像的假样本，包括：
(1)将高分辨率的高光谱图像
输入到生成器的第一卷积层，输出分辨率降低为
的1/2的第一特征图g1；
(2)将第一特征图g1输入到生成器的第二卷积层，输出分辨率降低为
的1/4的第二特征图g2；
(3)将第二特征图g2依次经过第三到第七卷积层，尺度不变，输出经过生成器模糊下采的假样本q*。
6.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤四中，所述判别器输出高光谱图像假样本的预测标签，包括：
(1)将假样本输入到判别器的第一卷积层，经过最大池化得到第一输出特征图d1；
(2)将第一输出特征图d1输入到判别器的第二卷积层，经过最大池化得到第二输出特征图d2；
(3)将第二输出特征图依次经过判别器的三个全连接层，得到假样本预测标签Xs。
7.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤六中，所述构造生成对抗网络的损失函数，并设计判别器损失函数，包括：
(1)将符合真实下采样模糊核特性的正则化约束和L1损失相加，得到生成器的损失函数：
其中，正则化约束的计算公式如下：
其中，下采样模糊核k是生成器里面所有的滤波器按顺序卷积的结果，α，β，γ，δ是调节每种损失的权重系数，G(·)代表生成器，L1(·)代表L1损失，公式中每部分损失的作用如下：
Lone鼓励模糊核的值累积为1；Lbound中m为常数加权mask，权重随着与中心的距离增加而指数增大，即越靠近边界的值惩罚越大，值越小；Lsparse鼓励模糊核的稀疏性，纠正优化过程中的错误倾向，产生过于平滑的模糊核；Lcenter鼓励模糊核的质量中心为核的几何中心，其中(x0,y0)是卷积核中心位置；
(2)判别器的损失采用生成对抗网络判别器中的损失函数；
基于WGAN_gp对判别器损失函数进行优化，优化公式如下：
其中，G(·)代表生成器，D(·)代表判别器，
为计算梯度，
为服从正态分布的随机数，||·||2为计算2范数，E[·]为计算均值。
8.如权利要求2所述的高光谱真实下采样模糊核估计方法，其特征在于，步骤七中，所述交替训练生成器和判别器，包括：
(1)设置学习率为le-3，训练批次大小为8，优化过程使用SGD算法优化；
(2)初始化迭代次数t＝0，最大迭代次数为1000；
(3)利用梯度下降方法，使用生成器的损失函数更新生成器参数；
(4)利用梯度下降方法，使用判别器的损失函数更新判别器参数；
(5)令t＝t+1；
(6)判断迭代次数t是否等于1000；若是，则生成器和判别器训练完成，否则，返回步骤(3)。
9.一种实施权利要求1～8任意一项所述的高光谱真实下采样模糊核估计方法的高光谱真实下采样模糊核估计系统，其特征在于，所述高光谱真实下采样模糊核估计系统包括：
图像块对获取模块，用于获取高相似度图像块对；
生成器和判别器构建模块，用于分别构建高光谱真实下采样模糊核估计的生成器和判别器；
高光谱图像假样本输出模块，用于将获取的图像对中的高分辨率图像
输入到生成器，经过生成器的线性映射，输出4倍下采样的高光谱图像假样本q*；
真假预测标签输出模块，用于将假样本q*输入到判别器，经过判别器的非线性映射，输出假样本q*的真假预测标签Xs；将获取的图像对中的低分辨率图像输入到判别器，经过判别器的非线性映射，输出真样本q的真假预测标签X′s；
损失函数构造模块，用于构造生成对抗网络的损失函数，并设计判别器损失函数；
生成器和判别器训练模块，用于交替训练生成器和判别器；
高光谱图像获取模块，用于将待处理的高光谱图像输入至生成器，得到下采样的高光谱图像。
10.一种如权利要求1～8任意一项所述的高光谱真实下采样模糊核估计方法在遥感图像处理中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526123.9A CN113435243A (zh) | 2021-05-14 | 2021-05-14 | 一种高光谱真实下采样模糊核估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526123.9A CN113435243A (zh) | 2021-05-14 | 2021-05-14 | 一种高光谱真实下采样模糊核估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435243A true CN113435243A (zh) | 2021-09-24 |
Family
ID=77802489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110526123.9A Pending CN113435243A (zh) | 2021-05-14 | 2021-05-14 | 一种高光谱真实下采样模糊核估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435243A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757831A (zh) * | 2022-06-13 | 2022-07-15 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170205344A1 (en) * | 2016-01-15 | 2017-07-20 | The Mitre Corporation | Active hyperspectral imaging system |
| CN108764173A (zh) * | 2018-05-31 | 2018-11-06 | 西安电子科技大学 | 基于多类生成对抗网络的高光谱图像分类方法 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
| CN111369457A (zh) * | 2020-02-28 | 2020-07-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 稀疏判别张量鲁棒性pca的遥感图像去噪方法 |
| CN111626317A (zh) * | 2019-08-14 | 2020-09-04 | 广东省智能制造研究所 | 基于双流条件对抗生成网络的半监督高光谱数据分析方法 |
| CN111861894A (zh) * | 2019-04-25 | 2020-10-30 | 上海理工大学 | 基于生成式对抗网络的图像去运动模糊方法 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN112699899A (zh) * | 2020-12-31 | 2021-04-23 | 杭州电子科技大学 | 一种基于生成对抗网络的高光谱图像特征提取方法 |
-
2021
- 2021-05-14 CN CN202110526123.9A patent/CN113435243A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170205344A1 (en) * | 2016-01-15 | 2017-07-20 | The Mitre Corporation | Active hyperspectral imaging system |
| CN108764173A (zh) * | 2018-05-31 | 2018-11-06 | 西安电子科技大学 | 基于多类生成对抗网络的高光谱图像分类方法 |
| CN109948693A (zh) * | 2019-03-18 | 2019-06-28 | 西安电子科技大学 | 基于超像素样本扩充和生成对抗网络高光谱图像分类方法 |
| CN111861894A (zh) * | 2019-04-25 | 2020-10-30 | 上海理工大学 | 基于生成式对抗网络的图像去运动模糊方法 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN111626317A (zh) * | 2019-08-14 | 2020-09-04 | 广东省智能制造研究所 | 基于双流条件对抗生成网络的半监督高光谱数据分析方法 |
| CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
| CN111369457A (zh) * | 2020-02-28 | 2020-07-03 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 稀疏判别张量鲁棒性pca的遥感图像去噪方法 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN112699899A (zh) * | 2020-12-31 | 2021-04-23 | 杭州电子科技大学 | 一种基于生成对抗网络的高光谱图像特征提取方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757831A (zh) * | 2022-06-13 | 2022-07-15 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Structured sparse coding-based hyperspectral imagery denoising with intracluster filtering | |
| CN112990334A (zh) | 基于改进原型网络的小样本sar图像目标识别方法 | |
| CN111046737B (zh) | 一种用于微地震信号检测的高效智能感知采集方法 | |
| CN113435253A (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| Lin et al. | Deep transfer learning for hyperspectral image classification | |
| CN111832228B (zh) | 基于cnn-lstm的振动传递系统 | |
| Sahu et al. | A Bayesian multiresolution approach for noise removal in medical magnetic resonance images | |
| CN111738954A (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| CN113408398A (zh) | 基于通道注意力及概率上采样的遥感图像云检测方法 | |
| CN111639697A (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
| CN113420593B (zh) | 基于混合推理网络的小样本sar自动目标识别方法 | |
| CN113435243A (zh) | 一种高光谱真实下采样模糊核估计方法 | |
| CN116310851B (zh) | 遥感图像变化检测方法 | |
| CN112033406B (zh) | 基于轻量级网络的导航方法、装置及存储介质 | |
| Liang et al. | Improved YOLOv5 infrared tank target detection method under ground background | |
| CN116958809A (zh) | 一种特征库迁移的遥感小样本目标检测方法 | |
| CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
| CN116310812A (zh) | 基于半监督语义分割对比学习的高分辨遥感图像语义变化检测方法 | |
| CN109190506A (zh) | 一种基于核稀疏和空间约束的高光谱目标检测方法 | |
| CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
| CN112507826A (zh) | 一种端到端生态变化监测方法、终端、计算机设备及介质 | |
| Pelissier et al. | Quantum assisted image registration | |
| CN113191259B (zh) | 用于高光谱图像分类的动态数据扩张方法及图像分类方法 | |
| CN117079043B (zh) | 基于可变形-扩张卷积金字塔特征的高光谱图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Qu Jiahui Inventor after: Zhang Tongzhen Inventor after: Dong Wenqian Inventor after: Xiao Song Inventor after: Li Yunsong Inventor before: Qu Jiahui Inventor before: Zhang Tongzhen Inventor before: Dong Wenqian Inventor before: Xiao Song Inventor before: Li Yunsong |
|
| CB03 | Change of inventor or designer information |