CN116503251A - 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 - Google Patents
一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 Download PDFInfo
- Publication number
- CN116503251A CN116503251A CN202310455838.9A CN202310455838A CN116503251A CN 116503251 A CN116503251 A CN 116503251A CN 202310455838 A CN202310455838 A CN 202310455838A CN 116503251 A CN116503251 A CN 116503251A
- Authority
- CN
- China
- Prior art keywords
- network
- remote sensing
- image
- expert
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 description 18
- 238000011176 pooling Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000008485 antagonism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像超分辨技术领域，尤其为一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，该方法包括以下步骤：步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；步骤二，使用双三次插值算法重建高分辨率遥感图像作为生成器网络G础框架；步骤三，引入混合专家构建用于遥感图像超分的生成器网络G，结合判别器网络D，得到改进后的生成对抗超分网络。本发明基于混合专家生成对抗网络对图像超分重建，解决了目前超分重建技术应用于不同场景效果存在极大偏差的问题，根据不同领域场景的图像能够自适应聚合网络特征信息，使网络具有一定泛化能力，也减少了现有超分重建方法的局限性。
Description
技术领域
本发明涉及图像超分辨技术领域，具体为一种结合混合专家的生成对抗网络遥感图像超分辨重建方法。
背景技术
遥感图像具有很高的利用价值，在诸多领域例如自然环境监测监控、地质探测勘探、地理位置信息等有着广泛应用。而由于受到大气等自然环境因素的影响以及一些光学成像设备以及硬件条件的限制，导致得到的遥感图像通常为原始高分辨率图像经过压缩后形成的低分辨率(Low-Resolution,LR)图像，分辨率无法达到要求。图像超分辨率(Super-Resolution,SR)重建技术利用一组低质量、低分辨率图像通过算法来产生高质量、高分辨率图像，这种成本低、成效快的技术方法在图像处理研究领域中引起了广泛的关注，同时在卫星遥感图像领域有着极其广泛的应用。
基于深度学习的方法是目前用于实现图像超分辨率重建的主流方法。该方法主要通过建立待处理图像与生成图像端到端的映射关系实现图像超分重建。并通过加深网络结构等方式对网络进行改进，来提升网络图像超分辨率性能。而遥感图像在对地监测过程中需要确定目标区域并对目标区域图像进行放大，需要的纹理、边缘等细节信息更加精确。而现有算法用来提升对监测目标的细节精度无法满足生产需要，因此增强对小目标卫星遥感图像超分辨率重建并提升卫星对小目标区域的精细监控监测，仍然是一个具有挑战性的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，解决了上述背景技术中所提出的问题。
(二)技术方案
本发明为了实现上述目的具体采用以下技术方案：
一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，该方法包括以下步骤：
步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；
步骤二，使用双三次插值算法重建高分辨率遥感图像作为生成器网络G的基础框架；
步骤三，引入混合专家构建用于遥感图像超分的生成器网络G，结合判别器网络D，得到改进后的生成对抗超分网络；
步骤四，将训练集输入改进后的混合专家生成对抗网络中进行训练，联合损失函数优化网络，设定训练阈值，最终得到超分辨率混合专家生成对抗网络模型；
步骤五，将低分辨率遥感测试图像输入训练好的混合专家生成对抗网络生成器网络G中，得到高分辨率遥感图像。
进一步地，步骤二中使用双三次插值算法重建的高分辨率遥感图像作为生成器网络G的基础框架，G网络主要用于对低分辨率遥感图像进行超分重建，得到相应的高分辨率遥感图像。
进一步地，步骤三中使用三个专家网络、一个投票网络构成和一个特征融合网络构建生成器网络G，专家一使用残差网络结构用于提取特征的全局信息，专家二使用通道注意力机制网络用于提取图像局部特征信息，使网络更加关注局部特征信息，专家三使用空间注意力机制网络用于提取图像二维平面全局特征信息，投票网络依据各专家所擅长的特征提取能力赋予不同的权重占比，自适应的将各专家中的图像整合到聚合特征中，利用融合网络对特征图像进行融合增强。
进一步地，步骤三中具体的将原始图像输入第一部分提取浅层特征图输入第二部分提取图像深层特征信息，学习HR与LR之间的映射关系，然后将第一层的输出特征输入混合专家模块进行特征提取，使用投票网络对专家分配不同的占空比，最终输出三组特征，将三组特征图输入特征融合网络进行特征融合，融合后的图像输入下一个混合专家网络进行特征提取并重新分配权重，使用上采样模块对图像进行上采样重建操作，将第二部分得到的最终特征图输入，最终重建出高分辨率遥感图像。
进一步地，步骤二、三中生成器网络G使用双三次插值法提取图像公共低频特征信息放大重建出高分辨率遥感图像，使用混合专家提取图像高频特征信息并整合经过重建模块将图像放大至所需大小，以低频特征模块作为重建后的基础框架与经过混合专家重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。
进一步地，步骤四中联合损失函数为交叉熵损失函数、像素级损失函数、感知损失函数，损失函数的选择能够影响模型的好坏，能够真实体现出真实值和预测值之间的差异，通过损失函数对模型进行优化，使模型达到最佳效果。
(三)有益效果
与现有技术相比，本发明提供了一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，具备以下有益效果：
本发明基于混合专家生成对抗网络对图像超分重建，解决了目前超分重建技术应用于不同场景效果存在极大偏差的问题，根据不同领域场景的图像能够自适应聚合网络特征信息，使网络具有一定泛化能力，也减少了现有超分重建方法的局限性。
本发明通过在生成器中引入融合专家用于提取图像高频特征信息及轮廓。利用多专家融合方式进行特征提取的优势在于每个专家擅长的特征提取方式不同，通过投票网络能够自适应调整每个专家的权重参数，使专家之间提供更多的互补信息，以提高聚合特征的能力，在不增加额外参数的情况，使特征信息提取更加充分从而提高遥感图像的超分重建效果。
本发明用于超分重建的生成器网络以双三次插值模块作为网络基础框架，将其结果与提取到的高频特征信息及轮廓进行像素叠加，减少了细节信息的丢失，使重建后的遥感图像具有更加丰富的细节纹理
附图说明
图1为本发明所述一种结合混合专家的生成对抗网络实现遥感图像超分辨重建方法的流程框图；
图2为本发明所述用于遥感图像超分重建的混合专家生成对抗网络整体网络架构流程图；
图3为本发明混合专家生成对抗网络生成器网络G结构图；
图4为本发明混合专家网络结构图；
图5为本发明融合网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1-5所示，一种结合混合专家的生成对抗网络的遥感图像超分辨重建方法，包括以下步骤：
步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；构建低分辨遥感图像训练集和高分辨遥感图像训练集；根据UCMerced_LandUse公选遥感图像序列累计2000张作为高分辨率遥感图像，尺寸为256*256，将遥感图像按照不同尺寸分别下采样得到低分辨率遥感图像数据集，分别为二倍、三倍、四倍下采样，将高分辨率遥感图像数据集和低分辨率遥感图像数据集按照9：1的比例分成训练集和测试集，得到所述遥感图像训练集。
用于遥感图像超分重建的混合专家生成对抗网络整体网络架构流程图如图2所示，混合专家生成对抗网络包括生成器网络G、判别网络D。其中，G网络用于对低分辨率遥感图像IL进行超分重建，得到相应的高分辨率遥感图像G(IL)，利用判别器D判断图像为真实的高分辨率遥感图像IL还是通过生成网络生成的伪高分辨率遥感图像G(IL)。利用生成网络和判别网络学习原始图像与生成图像之间的映射关系，来实现高分辨率图像与低分辨率图像之间的相互转换。
步骤二，使用双三次插值算法重建的高分辨率遥感图像作为生成器网络G的基础框架；基础框架主要由双三次插值模块构成，即为共享特征模块，主要用于提取公共低频信息特征。
所述共享特征提取模块为提取图像低频特征信息放大重建出高分辨率图像的过程，采用双三次插值法将图像放大至所需大小得到高分辨率遥感图像，具体利用双三次插值权重函数求出原始图像某一像素点周围最近16个点的权重，将16个像素点加权叠加得到高分辨率遥感图像。
所述权重函数表达式如下：
其中x1为该点到代求像素点的距离。
步骤三，引入混合专家构建用于遥感图像超分的生成器网络G，结合判别器网络D，得到改进后的生成对抗超分网络，如图3所示，为本发明设计的生成器网络G的网络结构图，生成器网络G主要用于将低分辨率遥感图像转换成高分辨率遥感图像，网络主要由浅层特征提取模块、深层特征提取模块、重建模块三部分构成，以浅层特征模块作为重建后的基础框架与经过混合专家模块重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。
所述高频特征提取模块用于提取图像高频特征信息并进行特征融合，本发明先通过一个卷积模块提升特征通道数，再利用融合多专家网络用于提取遥感图像上地物的高频特征并在每个专家模块中进行特征融合，卷积模块结构为一个3*3的标准卷积，每个混合专家模块均由三个专家、一个投票网络和一个特征融合网络构成，通过三个专家网络分别对输入图像进行计算，充分的学习和提取深层语义特征，利用投票网络对每个专家进行占比调控得到三组特征图，将三组特征图输入到特征融合网络进行信息增强，在网络中引入混合专家能够在不额外增加参数的同时并行处理多个任务并对占比进行自适应调控，使特征表达更加充分。
所述重建模块主要用于进行上采样操作，通过提取图像特征并进行像素重排提高遥感图像分辨率同时压缩特征通道并重构出高分辨率遥感图像，重建模块包含了上采样模块和一个卷积层，上采样模块的结构为卷积层、亚像素卷积层、Relu激活函数；卷积层使用了卷积核大小为1*1的标准卷积。
如图4所示，为本发明设计的混合专家网络结构图，主要用于自适应提取遥感图像高频特征信息，混合专家主要由三个专家、一个投票网络和一个融合网络构成。其中三个专家为三种特征提取方式，分别拥有不同的能力。
所述专家一的特征提取模块主要由残差模块构成，用于提取特征的全局信息，每个残差模块包括卷积层、Relu激活函数、卷积层，利用残差网络提取更加深层次的语义信息。专家二为通道注意力机制特征提取模块主要由池化层、Sigmoid激活函数、ReLu激活函数和全连接层构成，用于提取图像局部特征信息，使网络更加关注局部特征信息。具体的首先对输入的特征图进行全局池化，在不改变通道数的前提下对图像进行缩小，然后进行一次全连接，将图像降维成向量经过ReLu激活函数，第二次全连接，使其向量长度恢复到与之前相同，Sigmoid激活函数将每个权值归一化到0-1之间，输入特征图的每个通道乘以每个通道的权值，得到新的特征图，专家三为空间注意力机制特征提取模块，主要有平均池化成、最大池化层、卷积以及Sigmoid激活函数构成，用于提取图像二维平面全局特征信息。具体的对输入特征图的每个位置分别进行平均池化和最大池化，得到两个特征图，对两个特征图进行堆叠(特征融合)后进行一次卷积调整通道数为1，得到通道数为1的特征图，Sigmoid函数将每个位置权值归一化到0-1之间，输入特征图的每个位置乘以每个位置的权值，得到新的特征图，其中卷积尺寸为1*1，将原始图像分别输入三个专家网络同时提取图像深层特征信息，学习HR与LR之间的映射关系。
所述投票网络主要用于对三个专家网络进行占比调控，最终输出三组特征图，其具体结构为卷积、Relu激活函数、池化层、全连接层、Relu激活函数、全连接层、Sigmoid激活函数。
如图5所示，为本发明设计的融合网络结构图，主要用于将三组特征图输入特征融合网络进行图像增强，其具体结构为1*1卷积、3*3卷积、3*3卷积、池化层、3*3卷积、反卷积、1*1卷积、Sigmoid激活函数，其中1*1卷积主要作用为压缩通道将三组特征图压缩至同一通道中、所有3*3的卷积均用于特征提取、池化层用于缩小特征图、反卷积用于放大还原特征图大小。
进一步，所述判别器网络D用于判别生成图像是否为真实的高分辨率图像，判别器本质上是一个二元非类，其公式定义如下：
D(IH,(G(IL))＝σ(ID(IH)-E[ID(G(IL))])
其中，IH表示真实高分辨率图像，IL表示低分辨率图像，G(IL)表示生成网络生成的高分辨率图像，σ表示Sigmoid激活函数，ID表示判别网络中的卷积层的参数，E表示对当前数据集内样本取均值。
步骤四，将训练集输入改进后的混合专家生成对抗网络中进行训练，得到超分辨率融合专家生成对抗网络模型；基于步骤一构建的遥感图像训练集训练步骤二和步骤三构建的融合专家生成对抗网络模型，初始化全局权重参数，构建并计算损失函数，利用梯度下降算法更新生成器和判别器的权重参数，通过对模型反复迭代训练使其不断更新权重参数，通过调整权重参数，使损失函数值尽量最小，达到迭代阈值停止训练，得到混合专家生成对抗网络训练模型。
所述构建的损失函数采用对抗损失和L1损失作为原始图像与生成图像的原始约束条件，加入感知损失对图像的高级语义信息进行约束，从深层特征重建图像信息时，使图像的内容和轮廓结构保留更加完好。
其中，损失函数的公式定义为：
LT＝λ1LG+λ2L1+λ3LP
式中LG为对抗损失，L1为像素级损失函数、LP为感知损失函数，λ1、λ2、λ3为平衡网络的超参数。
进一步，所述LG对抗损失函数用于生成对抗网络训练过程中通过判别器的判别结果来对生成器的参数进行优化，对抗性损失设计为最小化交叉熵，以改善纹理损失。
其中，所述对抗损失函数表达式定义为：
LG＝-∑logD(G(IL),IH)
其中D表示判别器，G(IL)为生成器网络G生成的的高分辨率图像，IL和IH分别为低分辨率图像和高分辨率图像。
L1为像素级损失，使用MSE计算生成图像和真实图像之间的像素级距离，以此来对生成器的训练进行约束，损失函数L1损失，计算公式如下所示：
W,H分别为图像的宽度和高度，Xi,j代表原始图像在(i.j)的像素点值。Yi,j代表模型输出超分图像在(i.j)位置的像素点值。
所述感知损失函数LP将所述感知损失函数通过一个卷积神经网络得到原始高分辨率遥感图像和生成的与真实高分辨率遥感图像相似图像的中间特征图，分析原始图像与生成图像之间的高频细节差异，输出两个特征图之间的距离。通过这种方式对生成网络的训练进行约束，可以让生成的图像与真实图像更加相似。
其中，所述内容损失函数表达式定义为：
其中，H和W代表特征图的尺寸大小，φ(·)代表作为损失函数的卷积神经网络，i,j代表像素坐标,Gi,j代表重建后高分辨率图像像素值，Hi,j代表原始高分辨率像素值。
步骤五，将低分辨率遥感测试图像输入训练好的混合专家生成对抗网络生成器网络G中，得到高分辨率遥感图像；所述混合专家生成对抗为所述步骤二和三设计的混合专家生成对抗网络经过所述步骤四对混合专家生成对抗网络模型的训练，得到训练模型GT。
所述重建高分辨率遥感图像表示为：
Xt＝GT(ILT)
其中，ILT代表要测试的低分辨率遥感图像，GT(·)代表用训练后的最佳模型进行测试，Xt代表重建后的高分辨率遥感图像。
本发明采用结合混合专家的生成对抗网络实现遥感图像超分重建方法，可以解决现有图像超分辨率重建方法中针对不同场景模型存在局限性的问题，该网络能够自适应聚合各专家所学到的特征信息，针对不同领域场景具有一定的泛化能力。将混合专家引入到生成对抗网络中，将任务分块化并且能够并行处理多个子任务增强特征提取效率的同时能够自适应调整各个任务之间的占比，更加有效的保留了特征图中的细节信息。生成器中增加了双三次插值模块用于提取遥感图像的低频特征信息作为超分重建网络的基础框架，使重建后的遥感图像具有更加丰富的细节纹理。该发明可以服务于遥感勘测领域，降低遥感图像采集的成本，提高遥感图像目标检测的准确性，在遥感图像目标检测、遥感图像分类等实际应用中具有较大的价值。
进一步，所述步骤一中构建遥感图像数据集，将UCMerced_LandUse遥感图像序列作为高分辨率遥感图像。对所述的高分辨率遥感图像进行不同尺寸下采样得到不同尺寸的低分辨率遥感图像数据集。将高分辨率遥感图像数据集和低分辨率遥感图像数据集分配成训练集和测试集，得到所述遥感图像训练集。
进一步，所述步骤二使用双三次插值算法重建的高分辨率遥感图像作为生成器网络G的基础框架，G网络主要用于对低分辨率遥感图像进行超分重建，得到相应的高分辨率遥感图像。
特别的，所述网络G由浅层特征提取模块即为共享特征模块、深层特征提取模块、重建模块三部分构成；共享特征提取模块用于提取图像公共低频特征信息放大重建出高分辨率遥感图像，深层特征提取模块用于提取图像高频特征信息并整合经过重建模块将图像放大至所需大小。以低频特征模块作为重建后的基础框架与经过混合专家重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。
进一步，所述浅层特征提取模块包括双三次插值模块用于提取遥感图像公共低频特征信息并重建出高分辨率遥感图像。
进一步，所述步骤三，引入混合专家构建生成器网络G，结合判别器网络D，得到改进后的混合专家生成对抗超分网络。
进一步，所述混合专家主要用于提取图像的高频特征信息。混合专家主要由三个专家网络、一个投票网络构成和一个特征融合网络构成，每个专家网络采用不同的特征提取方式，专家一利用残差网络提取图像全局特征信息，专家二利用通道注意力机制提取多通道局部特征信息，专家三利用空间注意力机制提取图像二维平面全局特征信息，投票网络依据各专家所擅长的特征提取能力赋予不同的权重占比，自适应的将各专家中的图像整合到聚合特征中，利用融合网络对特征图像进行融合增强，其中占比总和为1。具体的将原始图像输入第一部分提取浅层特征图输入第二部分提取图像深层特征信息，学习HR与LR之间的映射关系，然后将第一层的输出特征输入混合专家模块进行特征提取输出三组特征，将三组特征图输入特征融合网络进行特征融合，融合后的图像输入下一个混合专家网络进行特征提取并重新分配权重。第三部分由上采样模块和卷积构成，用于图像上采样重建操作，将第二部分得到的最终特征图输入最终重建出高分辨率遥感图像。
进一步，所述专家一的特征提取模块主要由残差模块构成，用于提取特征的全局信息，每个残差模块包括卷积层、Relu激活函数、卷积层。专家二为通道注意力机制特征提取模块主要由池化层、激活函数和全连接层构成，用于提取图像局部特征信息，使网络更加关注局部特征信息。专家三为空间注意力机制特征提取模块，主要由平均池化成、最大池化层、卷积以及激活函数构成，用于提取图像二维平面全局特征信息。
进一步，所述投票网络主要用于聚合专家特征，为每为专家分配不同的占比。其结构主要由卷积、激活函数、池化层、全连接层构成。
进一步，所述特征融合网络主要用于对三个不同占比的专家网络生成的三组特征图进行特征融合，即增强特征作用。其结构主要由卷积层、池化层、反卷积层、激活函数构成。
进一步，所述重建模块由上采样模块和一个卷积层构成用于重建高分辨率遥感图像，上采样模块包括卷积层、亚像素卷积层、Relu激活函数。
进一步，所述步骤四将训练集输入改进后的混合专家生成对抗网络中进行训练，得到超分辨率混合专家生成对抗网络模型。其训练过程包括将所述步骤一中得到的低分辨率遥感图像训练集和高分辨率遥感图像训练集作为输入，分别输入到所述步骤二和三设计的混合专家生成对抗网络中，构建损失函数，对损失函数进行优化，尽量使损失函数最小，其中优化过程即为网络模型训练过程。
进一步，所述损失函数，包括：对抗损失函数、L1损失函数、感知损失函数。
其中，损失函数的公式定义为：
LT＝λ1LG+λ2L1+λ3LP
式中LT为总损失、LG为对抗损失，L1为像素级损失函数、LP为感知损失函数，λ1、λ2、λ3为平衡网络的超参数。
进一步，所述LG对抗损失函数用于生成对抗网络训练过程中通过判别器的判别结果来对生成器的参数进行优化，对抗性损失设计为最小化交叉熵，以改善纹理损失。
其中，所述对抗损失函数表达式定义为：
LG＝-ΣlogD(G(IL),IH)
其中D表示判别器，G(IL)为生成器网络G生成的的高分辨率图像，IL和IH分别为低分辨率图像和高分辨率图像。
L1为像素级损失，使用MSE计算生成图像和真实图像之间的像素级距离，以此来对生成器的训练进行约束。损失函数L1损失，计算公式如下所示：
W,H分别为图像的宽度和高度，Xi,j代表原始图像在(i.j)的像素点值。Yi,j代表模型输出超分图像在(i.j)位置的像素点值。
进一步，所述感知损失函数LP将卷积神经中的深层特征图作为损失函数，分析原始图像与生成图像之间的高频细节差异，对生成网络的训练进行约束，可以让生成的图像与真实图像更加相似。
其中，所述内容损失函数表达式定义为：
其中，H和W代表特征图的尺寸大小，φ(·)代表作为损失函数的卷积神经网络，i,j代表像素坐标,Gi,j代表重建后高分辨率图像像素值，Hi,j代表原始高分辨率像素值。
进一步，所述感知损失函数通过卷积神经网络得到原始高分辨率遥感图像和生成的与真实高分辨率遥感图像相似图像的中间特征图，计算两者间的差异(感知损失)。感知损失对图像的高级语义信息进行约束，从深层特征重建图像信息时，图像的内容和轮廓结构进行了有效保留。
进一步，所述步骤五将低分辨率遥感测试图像输入训练好的混合专家生成对抗网络生成器网络GL-H中，得到高分辨率遥感图像。
进一步，所述重建高分辨率遥感图像表示为：
Xt＝GT(ILT)
其中，ILT代表要测试的低分辨率遥感图像，GT(·)代表用训练后的最佳模型进行测试，Xt代表重建后的高分辨率遥感图像。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：该方法包括以下步骤：
步骤一，获取遥感图像数据集，并对图片进行标签，得到样本集；
步骤二，使用双三次插值算法重建高分辨率遥感图像作为生成器网络G的基础框架；
步骤三，引入混合专家构建用于遥感图像超分的生成器网络G，结合判别器网络D，得到改进后的生成对抗超分网络；
步骤四，将训练集输入改进后的混合专家生成对抗网络中进行训练，联合损失函数优化网络，设定训练阈值，最终得到超分辨率混合专家生成对抗网络模型；
步骤五，将低分辨率遥感测试图像输入训练好的混合专家生成对抗网络生成器网络G中，得到高分辨率遥感图像。
2.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤二中使用双三次插值算法重建的高分辨率遥感图像作为生成器网络G的基础框架，G网络主要用于对低分辨率遥感图像进行超分重建，得到相应的高分辨率遥感图像。
3.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤三中使用三个专家网络、一个投票网络构成和一个特征融合网络构建生成器网络G，专家一使用残差网络结构用于提取特征的全局信息，专家二使用通道注意力机制网络用于提取图像局部特征信息，使网络更加关注局部特征信息，专家三使用空间注意力机制网络用于提取图像二维平面全局特征信息，投票网络依据各专家所擅长的特征提取能力赋予不同的权重占比，自适应的将各专家中的图像整合到聚合特征中，利用融合网络对特征图像进行融合增强。
4.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤三中具体的将原始图像输入第一部分提取浅层特征图输入第二部分提取图像深层特征信息，学习HR与LR之间的映射关系，然后将第一层的输出特征输入混合专家模块进行特征提取，使用投票网络对专家分配不同的占空比，最终输出三组特征，将三组特征图输入特征融合网络进行特征融合，融合后的图像输入下一个混合专家网络进行特征提取并重新分配权重，使用上采样模块对图像进行上采样重建操作，将第二部分得到的最终特征图输入，最终重建出高分辨率遥感图像。
5.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤二、三中生成器网络G使用双三次插值法提取图像公共低频特征信息放大重建出高分辨率遥感图像，使用混合专家提取图像高频特征信息并整合经过重建模块将图像放大至所需大小，以低频特征模块作为重建后的基础框架与经过混合专家重建的高频特征信息及轮廓进行像素叠加最终重建出高分辨率遥感图像。
6.根据权利要求1所述的一种结合混合专家的生成对抗网络遥感图像超分辨重建方法，其特征在于：步骤四中联合损失函数为交叉熵损失函数、像素级损失函数、感知损失函数，损失函数的选择能够影响模型的好坏，能够真实体现出真实值和预测值之间的差异，通过损失函数对模型进行优化，使模型达到最佳效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310455838.9A CN116503251A (zh) | 2023-04-25 | 2023-04-25 | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310455838.9A CN116503251A (zh) | 2023-04-25 | 2023-04-25 | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116503251A true CN116503251A (zh) | 2023-07-28 |
Family
ID=87319664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310455838.9A Pending CN116503251A (zh) | 2023-04-25 | 2023-04-25 | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503251A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314756A (zh) * | 2023-11-30 | 2023-12-29 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
-
2023
- 2023-04-25 CN CN202310455838.9A patent/CN116503251A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314756A (zh) * | 2023-11-30 | 2023-12-29 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
| CN117314756B (zh) * | 2023-11-30 | 2024-04-05 | 中国平安财产保险股份有限公司 | 基于遥感图像的验保方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN111768342B (zh) | 基于注意力机制和多级反馈监督的人脸超分辨方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN111047516A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115497005A (zh) | 一种融合特征转移与注意力机制的yolov4遥感目标检测方法 | |
| CN108921783B (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN113313180B (zh) | 一种基于深度对抗学习的遥感图像语义分割方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
| CN116503251A (zh) | 一种结合混合专家的生成对抗网络遥感图像超分辨重建方法 | |
| CN114332625A (zh) | 基于神经网络的遥感图像彩色化和超分辨率方法及系统 | |
| Delgado-Centeno et al. | Enhancing lunar reconnaissance orbiter images via multi-frame super resolution for future robotic space missions | |
| CN117576483B (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| CN112508786B (zh) | 面向卫星图像的任意尺度超分辨率重建方法及系统 | |
| CN113781311A (zh) | 一种基于生成对抗网络的图像超分辨率重建方法 | |
| CN117078516B (zh) | 基于残差混合注意力的矿井图像超分辨率重建方法 | |
| CN116309067B (zh) | 一种光场图像空间超分辨率方法 | |
| CN115439849B (zh) | 基于动态多策略gan网络的仪表数字识别方法及系统 | |
| Yang et al. | Deep networks for image super-resolution using hierarchical features | |
| Zhou et al. | Structure and texture preserving network for real-world image super-resolution | |
| CN111951177B (zh) | 一种基于图像超分辨损失函数的红外图像细节增强方法 | |
| CN117611492B (zh) | 多光谱卫星遥感图像的隐式表示及锐化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |