CN116958468A - 基于SCycleGAN的高山积雪环境模拟方法及系统 - Google Patents
基于SCycleGAN的高山积雪环境模拟方法及系统 Download PDFInfo
- Publication number
- CN116958468A CN116958468A CN202310818764.0A CN202310818764A CN116958468A CN 116958468 A CN116958468 A CN 116958468A CN 202310818764 A CN202310818764 A CN 202310818764A CN 116958468 A CN116958468 A CN 116958468A
- Authority
- CN
- China
- Prior art keywords
- discriminator
- data
- module
- environment simulation
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000010606 normalization Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000003595 spectral effect Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 8
- 238000001228 spectrum Methods 0.000 abstract 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 15
- 238000013519 translation Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于SCycleGAN的高山积雪环境模拟方法及系统，其方法包括：S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；S2：将训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在判别器中引入图注意力模块和谱归一化操作，利用图注意力模块输出注意力图并输入生成器中，并利用谱归一化对判别器中卷积模块进行处理；S3：构建周期一致性损失用于优化生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。本发明提供的方法可自动地利用模式数据，模拟高山地区部分区域积雪环境图像，有效地为当地政府决策和研判提供辅助信息。
Description
技术领域
本发明涉及图像翻译领域，具体涉及一种基于SCycleGAN的高山积雪环境模拟方法及系统。
背景技术
随着深度学习的不断发展，图像翻译在计算机视觉应用中越来越受到重视，许多图像处理、计算机图形学和计算机视觉问题都可以用来分析和理解数字图像的任务。这种翻译需要学习将给定输入的一种视觉表示映射到另一种表示。
同时，生成式对抗网络(GANs)的研究在逐渐走向成熟，基于GAN的图像翻译模型的研究也越来越火热，如Pix2Pix,CycleGAN,SAGAN,MUNIT,DRIT等。图像翻译主要分为有监督的图像翻译和无监督的图像翻译。其中，有监督的图像翻译是指在训练过程中采用的训练集是成对的图片，Phillip Isola等人提出的的有监督图像翻译模型(Pix2pix)是以GAN为基础采用端到端架构，其中生成器架构中引入跳连接以便能保留图像潜层结构，其输入是原域图像x，输出是翻译后的目标域图像G(x)，原域图像和真/伪目标域图像分别结合后作为鉴别器的输入，鉴别器输出分类结果并和生成器产生对抗，但其在训练过程中，使用原域-目标域一对一映射导致模型的多样性很差。Jun-Yan Zhu等人提出了的BicycleGAN有效解决了多样性差的问题，BicycleGAN通过引入潜层编码，约束输出和潜层编码的双射一致性来提高模型的多样性，但生成器中的潜层变量的随机采样的，因此生成结果不一定和目标域图像一致，完全忽略了成对图像带来的优势。同时，有监督的图像翻译模型存在的最大问题是现实情况中难以寻找海量高效的成对数据集进行训练，因此越来越多的基于无监督的图像翻译模型被提出。其中，最经典的算法就是CycleGAN，与有监督的图像翻译相比，不需要输入一一对应的图像数据集，可以大大减少样本制作成本，但是传统的卷积CycleGAN仅根据低分辨率特征图中的空间局部点很难生成高分辨率细节。
发明内容
为了解决上述技术问题，本发明提供一种基于SCycleGAN的高山积雪环境模拟方法及系统。
本发明技术解决方案为：一种基于SCycleGAN的高山积雪环境模拟方法，包括：
步骤S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；
步骤S2：将所述训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在所述判别器中引入图注意力模块和谱归一化操作，利用所述图注意力模块输出注意力图并输入所述生成器中，并利用谱归一化对所述判别器中卷积模块进行处理；
步骤S3：构建周期一致性损失用于优化所述生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于SCycleGAN的高山积雪环境模拟方法，通过在现有的CycleGAN框架的基础上引入判别器的图注意力模块和谱归一化操作，针对不配对的模式图像数据和遥感图像数据集模拟高山地区积雪环境，通过改进的图注意力模块协助生成器关注图像中的积雪区域，通过谱归一化操作可以有效地防止参数值的增加，避免异常梯度，使训练过程更加稳定。利用本发明提供的方法，可自动地生成高山地区部分区域积雪环境图像，有效地为当地政府决策和研判提供辅助信息。此外，对高山地区积雪环境有效的模拟可以为高山环境中较重要的宿营地等场地提供更加逼真的积雪环境，优化宿营地选址。本发明提供的方法可应用到一般的遥感图像环境模拟任务中，具有更高的商业价值和经济效益。
附图说明
图1为本发明实施例中一种基于SCycleGAN的高山积雪环境模拟方法的流程图；
图2为本发明实施例中基于SCycleGAN的高山积雪环境模拟模型的结构示意图；
图3为本发明实施例中方法与其他模型的生成结果对比示意图；
图4为本发明实施例中一种基于SCycleGAN的高山积雪环境模拟系统的结构框图。
具体实施方式
本发明提供了一种基于SCycleGAN的高山积雪环境模拟方法，可自动地生成高山地区部分区域积雪环境图像，实现通过模式数据模拟重要区域积雪环境图像，有效地为当地政府决策和研判提供辅助信息。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于SCycleGAN的高山积雪环境模拟方法，包括下述步骤：
步骤S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；
步骤S2：将训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在判别器中引入图注意力模块和谱归一化操作，利用图注意力模块输出注意力图并输入生成器中，并利用谱归一化对判别器中卷积模块进行处理；
步骤S3：构建周期一致性损失用于优化生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。
在一个实施例中，上述步骤S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集，具体包括：
步骤S11：采集高山地区环境模式数据中的积雪数据作为模式数据；采集卫星遥感影像数据作为初始遥感数据；利用ArcGIS统一模式数据和初始遥感数据坐标系；
本发明实施例中的模式数据主要是来源于高山地区的环境模式数据，选取其中1120张的积雪数据进行研究；遥感数据主要是基于哨兵2号的高分辨率多光谱成像卫星，选取高山区域的实时遥感影像1120张。
卫星的传感器能够检测并且记录地球表面物体反射的电磁波，而遥感图像则是存储这种信息的重要载体。不同传感器获得的遥感图像所记录的信息均不尽相同。在遥感数字图像数据具有3种分辨率，即时间分辨率、空间分辨率和光谱分辨率。在遥感图像中每个像元素表达了地物的空间、光谱和时间三维向量的平均值。模式数据和遥感数据坐标系不同，需要构建统一坐标系。执行操作如下：
本发明实施例中积雪模式数据的分辨率为3km，周期为1天；哨兵2号遥感影像数据的分辨率为10m，重访周期为10天。利用ArcGIS统一模式数据和遥感数据坐标系。将模式数据和遥感数据统一设置坐标系为GCS_WGS_1984，即世界级地理坐标系(World GeodeticSystem 1984)，是为GPS全球定位系统使用而建立的坐标系统，也是全球所有卫星所用的坐标系统，主要参数是地球经纬度。
步骤S12：利用ENVI提取初始遥感数据的不同波段信息并对其进行最优组合，得到遥感数据；
将统一坐标系后的数据，利用ENVI提取遥感数据的不同波段信息并对其进行最优组合。本发明实施例中采用的为哨兵的L1C级数据，是经过正射校正和亚像元级几何精校正后的大气表观反射率产品，利用ENVI中的工具进行辐射定标和大气校正。
步骤S13：利用Opencv库将模式数据和遥感数据进行批量裁剪切割，固定在有效区域，构建数据集，并按预设比例划分训练集和测试集。
本发明实施例使用Opencv库将模式数据和哨兵2号遥感数据进行批量裁剪切割，均进行16等分，将其固定在有效区域，构建数据集。因此，模式数据有17920张，遥感数据有17920张。按照8:2的比例，将数据集划分为训练集和测试集，其中，训练集为共28000张(占总数据集的80％左右)，测试集共7840张(占总数据集的20％左右)。
在一个实施例中，上述步骤S2：将训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在判别器中引入图注意力模块和谱归一化操作，利用图注意力模块输出注意力图并输入生成器中，并利用谱归一化对判别器中卷积模块进行处理，具体包括：
步骤S21：将训练集输入生成器，得到生成图像，其中，生成器包括2个结构相同的生成网络，均由编码器、转换器和解码器构成：编码器包括卷积模块，转换器包括带权重的残差块，解码器包括反卷积模块；
将训练集中的模式数据和遥感数据分别输入2个生成网络，首先进入由3个卷积模块组成的编码器，由于训练集数据为彩色图像，则输入特征图通道为3，第一个卷积模块输入通道数为3，输出通道数为64，卷积核大小为9，对图像做步长为1的卷积提取特征，得到对应的特征图，填充(padding)为4，第一个卷积模块后接Relu激活函数层并做归一化处理，整合数据信息。将第一个卷积模块的特征数据输入至第二个卷模块，第二个卷积模块输入通道为64，输出通道数为64，卷积核大小为3*3，步长为2，填充(padding)为1，卷积后经过Relu函数进行归一化处理。将第二个卷积模块归一化后的数据输入第三个卷积模块，第三个卷积模块输入通道为64，输出通道数为3，卷积核大小为9*9，步长为1，填充(padding)为4。
然后，进入由4个相同结构的带权重的残差块构成的转换器，其中，每个残差块包括并联的两层卷积，每个卷积层均包括3*3的卷积层与Relu激活函数层与批归一化层，每两层卷积处理之后的数据赋予权重1/2，两部分输出权重相同。
最后，将解码器和转换器的输出合并后，输入由三个反卷积模块构成的解码器，第一个反卷积模块为64个卷积核为3*3的滤波器做步长为1/2的分步卷积，接着一层最大池化层，并做归一化的处理，第二个为64个卷积核为9*9的滤波器做步长为1/2的分步卷积，随后接一层最大池化层并归一化，第三个为3个卷积核为3*3的滤波器做步长为1的滑动卷积，最终输出生成的模式图像和遥感图像。
步骤S22：将生成图像与其对应的原始图像输入判别器，用于判断生成图像的真假；其中，判别器包括2个相同结构的判别网络，均由全卷积网络和图注意力模块构成，其中，利用谱归一化对全卷积网络中卷积模块进行处理。
本发明实施例中判别器包括两个相同结构的判别网络，均由全卷积网络和图注意力模块融合构建而成，其中全卷积网络包含5层，前四层的卷积分别由64、128、256和512个卷积核为4*4的滤波器构成，对输入信号做步长为2的滑动卷积，卷积之后接一层Relu函数的激活层，最后接一层卷积核为4*4的一个滤波器对提取出的小特征块缩减。将得到的特征图分块处理，采用最小二乘损失评估块之间的差异，这里差异性的描述用的是欧氏距离。当距离小于阈值0.5时，将差异性评估结果认定为真实，并输出1，当大于阈值时，标定为假，输出0。
GAN难以训练的原因在于原生GAN的目标函数等价于优化生成数据的分布pg和真实数据的分布pr之间的J-S散度(Jensen–Shannon Divergence)，且pg与pr都没有显示的表达式，只能不断采样以接近其数据的概率分布，很容易导致网络训练的结果不稳定的情况。因此，本发明实施例引入谱归一化操作，使高山积雪环境模拟模型中判别器D权值参数满足1-Lipschitz连续性条件，将谱归一化引入模型的特征提取部分对全卷积层中前4个卷积模块的权值参数进行谱归一化处理，具体包括：
步骤S2211：全卷积网络的前馈计算的输出特征图可以表示为公式(1)：
其中，卷积模块经卷积层操作后输出特征图为fl是非线性的激活函数，Wl和bl分别是网络的权重矩阵和偏差向量；/>为上一卷积模块输入的特征图；
步骤S2212：利用σ(W)表示矩阵W的谱范数，如公式(2)所示：
公式(2)等同于计算权重矩阵W的最大奇异值，其中x为特征图；
步骤S2213：在线性层f(x)＝Wx是通过||f||Lip＝σ(W)给出的，对于Lipschitz范数的激活函数||fl||Lip＝1l，而对于偏差向量||b||Lip＝0，则可以进一步表示为公式(3)：
步骤S2214：用谱归一化对权重矩阵W的谱范数进行归一化，权重矩阵W应该满足Lipschitz常数即σ(W)＝1,如公式(4)所示:
步骤S2215：网络每层的随机初始化权重为W，通过足够的迭代次数更新以下过程,如公式(5)所示：
步骤S2216：公式(5)中xl为迭代更新后的权重，再利用近似的奇异值近似逼近权重矩阵W的谱范数，如公式(6)所示：
σ(Wl)≈(xl)TWlvl (6)
其中，σ(Wl)是经过谱归一化后的权重参数。
利用批归一化(batch normalization)对谱归一化后的权重参数进行处理。输出的特征图通道数在四个卷积模块中均为64，参数动量(momentum)的值设置为1。经过谱归一化处理达后，可达到稳定训练过程的目的，提升最终训练结果的稳定性。
在现有的GAN神经网络中，给定输入图像x，将图像x送到判别器，得到与输入图像x大小相同的空间注意映射并定义/>为跨通道维度的层中每个空间位置的激活映射的绝对值之和，如公式(7)所示：
其中，Fi为判别器层特定输入的第i个特征面，C为通道数；AD表示在每个空间位置隐藏单元的重要性，以分类输入图像为假或真。本发明实施例对判别器中的注意力机制做了改进，从判别器的第二层到最后一层选择中层注意力图，通常与识别对象部分相关，并将它们反馈给生成器，具体包括：
步骤S2221：将图像x输入到判别器D中，得到空间注意映射即x中最具区别性的区域；
步骤S2222：对空间注意图进行归一化，将每个值除以图中观察到的最大值，并对其进行上采样以匹配输入图像的大小；
步骤S2223：使用元素积将空间注意力映射应用到输入图像x上，并将结果提供给生成器G，使得生成的x’专注于最具区别性的部分，如公式(8)所示：
其中，xa为输入样本，为空间注意力映射。
本发明实施例的图注意力模块包含4个卷积模块，多个残差块，4个反卷积模块，第一个卷积模块的输入通道为3，输出通道数为32，卷积核大小为7*7，步长为1，填充(padding)为3。第一个卷积模块后接Relu激活函数层并做归一化处理，整合数据信息。将第一个卷积模块的特征数据输入至第二个卷模块，第二卷积模块输入通道为32，输出通道数为64，卷积核大小为4*4，步长为2，填充(padding)为1。第二个卷积模块后接Relu激活函数层并做归一化处理，整合数据信息。将第二个卷积模块的特征数据输入至第三个卷模块，三卷积模块输入通道为64，输出通道数为128，卷积核大小为4*4，步长为2，填充(padding)为1。第三个卷积模块后接Relu激活函数层并做归一化处理，整合数据信息。将第三个卷积模块的特征数据输入至第四个卷模块，第四卷积模块输入通道为128，输出通道数为256，卷积核大小为4*4，步长为2，填充(padding)为1。四个卷积模块之后接连4个相同结构的残差块，每个残差块的结构包括并联的两层卷积，每个卷积层均包括3*3的卷积层。3个反卷积模块中，第一个反卷积模块的输入通道为256，输出通道数为128，卷积核大小为4*4，步长为2，填充(padding)为1。第二个反卷积模块的输入通道为128，输出通道数为64，卷积核大小为4*4，步长为2，填充(padding)为1。第三个反卷积模块的输入通道为64，输出通道数为32，卷积核大小为4*4，步长为2，填充(padding)为1。第四个反卷积模块的输入通道为32，输出通道数为3，卷积核大小为7*7，步长为1，填充(padding)为1。
通过引入注意力机制，使得判别网络更关注于输入图像中的高山积雪部分，并将其反馈给输入图像。
如图2所示，为包含了2个生成器和2个判别器的高山积雪环境模拟模型的结构示意图，其中，D表示判别器，G表示生成器，E表示编码器。
一个有足够容量的网络可能会将一组输入图像映射到目标域中任意随机排列的图像，因此仅靠对抗损失无法保证使用学习映射从输入图像x得到理想的输出y。本发明实施例利用下述改进的周期一致性损失，实现一对一对应映射。
在一个实施例中，S3：构建周期一致性损失用于优化生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，具体包括：
构建周期一致性损失函数Lcyc(G,F)，如公式(9)所示：
其中，xa和ya为输入样本，D表示判别器，G表示生成器。
改进的周期一致性损失有助于生成网络集中在图像到图像风格迁移中最具区别性的区域，该框架允许在正向和逆向映射中使用不同的注意映射。
本发明实施例在网络训练的过程中，采用Adam学习策略，根据Lcyc(G,D)值的大小，反向更新步骤生成器和判别器的网络权值参数，设置学习率为λ，训练迭代的次数为n，当网络迭代n次后结束训练。网络训练的过程中会不断优化各部分的网络权值参数，最终使得Lcyc(G,D)逐渐的变小最终趋于0。
为了验证本发明实施例的高山积雪环境模拟模型的有效性，使用测试集对训练好的基于SCycleGAN的高山积雪环境模拟模型，从两个角度进行验证：图片的清晰度；图片的多样性。图片的清晰度不够一般是由于网络的表达能力不够，需要使用更好或者更复杂地网络结构；而图片的多样性不足则很有可能是损失函数地选取或者训练方法出了问题，常见的有mode collapsing和mode dropping。当前，模式坍塌、训练不稳定等问题严重制约着GAN家族的发展。为了提高图像质量、样本多样性的角度量化评价GAN模型的性能，本发明中使用了FID指标，Frechet Inception距离得分(Frechet Inception Distance score，FID)是计算真实图像和生成图像的特征向量之间距离的一种度量。FID从原始图像的计算机视觉特征的统计方面的相似度来衡量两组图像的相似度，这种视觉特征是使用Inception v3图像分类模型计算的得到的。分数越低代表两组图像越相似，或者说二者的统计量越相似，FID在最佳情况下的得分为0.0，表示两组图像相同。FID分数被用于评估由生成性对抗网络生成的图像的质量，较低的分数与较高质量的图像有很高的相关性。
Inception分数基于目前性能最佳的图像分类模型Inception v3对一组合成图像的分类情况(将其分类为1,000类对象中的一种)来评估图像的质量。该分数结合了每个合成图像的条件类预测的置信度(质量)和预测类别的边缘概率积分(多样性)。Inception分数缺少合成图像与真实图像的比较。研发FID分数的目的是基于一组合成图像的统计量与来自目标域的真实图像的统计量进行的比较，实现对合成图像的评估。Inception分数的缺点是没有使用现实世界样本的统计量，并将其与合成样本的统计量进行比较。通过计算图像的均值和协方差，将激活函数的输出归纳为一个多变量高斯分布。然后将这些统计量用于计算真实图像和生成图像集合中的激活函数。然后使用Frechet距离(又称Wasserstein-2距离)计算这两个分布之间的距离。
两个高斯分布(合成图像和真实图像)的差异由Frechet距离(又称Wasserstein-2距离)测量。FID越低，图像质量越好；反之，得分越高，质量越差，两者关系是线性的。其分数的计算公式如公式(10)所示：
d2＝||mu_1-mu_2||2+Tr(C_1+C_2-2*sqrt(C_1*C_2)) (10)
其中，d2表示一个有平方项的距离；mu_1和mu_2指的是真实图像和生成图像的特征均值；C_1和C_2是真实图像的和生成图像的特征向量的协方差矩阵；Tr指的是被称为「迹」的线性代数运算；sqrt是方阵的平方根，由C_1和C_2协方差矩阵之间的乘积给出。
将本发明的方法与Pix-to-pix、AttentionGAN、SAGAN和CycleGAN模型四种算法按FID指标进行比较，实验结果如下表1所示：
表1本发明与其他模型的FID指标比较结果
| 方法 | 本发明 | Pix-to-pix | AttentionGAN | SAGAN | CycleGAN |
| FID | 9.34 | 19.71 | 18.59 | 15.74 | 13.86 |
从实验结果可以看出，本发明所提方法的实验结果与现有的图像翻译研究领域的成果相比，在一定程度上降低了在数据集上的真实图像和生成图像的特征向量之间距离，说明模拟的真实程度提高了。同时根据图3所示的结果图比较，也能明显发现本发明所提方法的实验结果与Pix-to-pix、AttentionGAN、SAGAN和CycleGAN模型四种算法的实验结果相比，积雪效果更加符合真实情况，本发明提供的方法的准确性优于其他模型。
本发明公开了一种基于SCycleGAN的高山积雪环境模拟方法，通过在现有的CycleGAN框架的基础上引入判别器的图注意力模块和谱归一化操作，针对不配对的模式图像数据和遥感图像数据集模拟高山地区积雪环境，通过改进的图注意力模块协助生成器关注图像中的积雪区域，通过谱归一化操作可以有效地防止参数值的增加，避免异常梯度，使训练过程更加稳定。利用本发明提供的方法，可自动地生成高山地区部分区域积雪环境图像，有效地为当地政府决策和研判提供辅助信息。此外，对高山地区积雪环境有效的模拟可以为高山环境中较重要的宿营地等场地提供更加逼真的积雪环境，优化宿营地选址。本发明提供的方法可应用到一般的遥感图像环境模拟任务中，具有更高的商业价值和经济效益。
实施例二
如图4所示，本发明实施例提供了一种基于SCycleGAN的高山积雪环境模拟系统，包括下述模块：
构建数据集模块41，用于采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；
构建模型模块42，用于将所述训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在所述判别器中引入图注意力模块和谱归一化操作，利用所述图注意力模块输出注意力图并输入所述生成器中，并利用谱归一化对所述判别器中卷积模块进行处理；
构建损失函数模块43，用于构建周期一致性损失用于优化所述生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于SCycleGAN的高山积雪环境模拟方法，其特征在于，包括：
步骤S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；
步骤S2：将所述训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在所述判别器中引入图注意力模块和谱归一化操作，利用所述图注意力模块输出注意力图并输入所述生成器中，并利用谱归一化对所述判别器中卷积模块进行处理；
步骤S3：构建周期一致性损失用于优化所述生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。
2.根据权利要求1所述的基于SCycleGAN的高山积雪环境模拟方法，其特征在于，所述步骤S1：采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集，具体包括：
步骤S11：采集高山地区环境模式数据中的积雪数据作为所述模式数据；采集卫星遥感影像数据作为所述初始遥感数据；利用ArcGIS统一所述模式数据和所述初始遥感数据坐标系；
步骤S12：利用ENVI提取所述初始遥感数据的不同波段信息并对其进行最优组合，得到遥感数据；
步骤S13：利用Opencv库将所述模式数据和所述遥感数据进行批量裁剪切割，固定在有效区域，构建数据集，并按预设比例划分训练集和测试集。
3.根据权利要求1所述的基于SCycleGAN的高山积雪环境模拟方法，其特征在于，所述步骤S2：将所述训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在所述判别器中引入图注意力模块和谱归一化操作，利用所述图注意力模块输出注意力图并输入所述生成器中，并利用谱归一化对所述判别器中卷积模块进行处理，具体包括：
步骤S21：将所述训练集输入所述生成器，得到生成图像，其中，所述生成器包括2个结构相同的生成网络，均由编码器、转换器和解码器构成：所述编码器包括卷积模块，所述转换器包括带权重的残差块，所述解码器包括反卷积模块；
步骤S22：将所述生成图像与其对应的原始图像输入所述判别器，用于判断所述生成图像的真假；其中，所述判别器包括2个相同结构的判别网络，均由全卷积网络和图注意力模块构成，其中，利用谱归一化对所述全卷积网络中卷积模块进行处理。
4.根据权利要求3所述的基于SCycleGAN的高山积雪环境模拟方法，其特征在于，所述步骤S22中谱归一化对所述全卷积网络中卷积模块进行处理，具体包括：
所述判别器的全卷积网络包括n个卷积模块，利用谱归一化对其中前n-1个卷积模块的权值进行谱归一化处理，步骤如下：
步骤S2211：所述全卷积网络的前馈计算的输出特征图可以表示为公式(1)：
其中，卷积模块经卷积层操作后输出特征图为fl是非线性的激活函数，Wl和bl分别是网络的权重矩阵和偏差向量；/>为上一卷积模块输入的特征图；
步骤S2212：利用σ(W)表示矩阵W的谱范数，如公式(2)所示：
公式(2)等同于计算权重矩阵W的最大奇异值，其中x为特征图；
步骤S2213：在线性层f(x)＝Wx是通过||f||Lip＝σ(W)给出的，对于Lipschitz范数的激活函数||fl||Lip＝1l，而对于偏差向量||b||Lip＝0，则可以进一步表示为公式(3)：
步骤S2214：用谱归一化对权重矩阵W的谱范数进行归一化，权重矩阵W应该满足Lipschitz常数即σ(W)＝1,如公式(4)所示:
步骤S2215：网络每层的随机初始化权重为W，通过足够的迭代次数更新以下过程,如公式(5)所示：
步骤S2216：公式(5)中xl为迭代更新后的权重，再利用近似的奇异值近似逼近权重矩阵W的谱范数，如公式(6)所示：
σ(Wl)≈(xl)TWlvl (6)
其中，σ(Wl)是经过谱归一化后的权重参数。
5.根据权利要求3所述的基于SCycleGAN的高山积雪环境模拟方法，其特征在于，所述步骤S22中所述判别器的图注意力模块，具体包括：
步骤S2221：将图像x输入到所述判别器D中，得到空间注意映射ADX(x)，即x中最具区别性的区域；
步骤S2222：对空间注意图进行归一化，将每个值除以图中观察到的最大值，并对其进行上采样以匹配输入图像的大小；
步骤S2223：使用元素积将所述空间注意力映射ADX(x)应用到输入图像x上，并将结果提供给所述生成器G，使得生成的x’专注于最具区别性的部分，如公式(8)所示：
x'＝G(xa)＝G(ADX(x)⊙x) (8)
其中，xa为输入样本，ADX(x)为空间注意力映射。
6.根据权利要求1所述的基于SCycleGAN的高山积雪环境模拟方法，其特征在于，所述步骤S3：构建周期一致性损失用于优化所述生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型，具体包括：
构建所述周期一致性损失函数Lcyc(G,F)，如公式(9)所示：
其中，xa和ya为输入样本，D表示判别器，G表示生成器。
7.一种基于SCycleGAN的高山积雪环境模拟系统，其特征在于，包括下述模块：
构建数据集模块，用于采集模式数据和遥感数据，对其进行预处理，构建数据集，并按预设比例划分训练集和测试集；
构建模型模块，用于将所述训练集输入基于SCycleGAN的高山积雪环境模拟模型，包括生成器和判别器，在所述判别器中引入图注意力模块和谱归一化操作，利用所述图注意力模块输出注意力图并输入所述生成器中，并利用谱归一化对所述判别器中卷积模块进行处理；
构建损失函数模块，用于构建周期一致性损失用于优化所述生成器和判别器的参数，直到得到训练好的基于SCycleGAN的高山积雪环境模拟模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818764.0A CN116958468A (zh) | 2023-07-05 | 2023-07-05 | 基于SCycleGAN的高山积雪环境模拟方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818764.0A CN116958468A (zh) | 2023-07-05 | 2023-07-05 | 基于SCycleGAN的高山积雪环境模拟方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116958468A true CN116958468A (zh) | 2023-10-27 |
Family
ID=88454008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310818764.0A Pending CN116958468A (zh) | 2023-07-05 | 2023-07-05 | 基于SCycleGAN的高山积雪环境模拟方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958468A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118799561A (zh) * | 2024-09-12 | 2024-10-18 | 中国人民解放军海军航空大学 | 一种海上目标sar图像预处理方法 |
| CN118823154A (zh) * | 2024-06-21 | 2024-10-22 | 北京东方瑞丰航空技术有限公司 | 基于卫星图片的雪景仿真方法、系统、电子设备及介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| CN110084121A (zh) * | 2019-03-27 | 2019-08-02 | 南京邮电大学 | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
| CN112163605A (zh) * | 2020-09-17 | 2021-01-01 | 中国石油大学(华东) | 一种基于生成注意力网络的多域图像翻译方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
| KR20220011572A (ko) * | 2020-07-21 | 2022-01-28 | 고려대학교 산학협력단 | 딥러닝을 이용한 지진 데이터 생성 방법 및 그 장치 |
| CN114037600A (zh) * | 2021-10-11 | 2022-02-11 | 长沙理工大学 | 一种基于新注意力机制的新CycleGAN风格迁移网络 |
| CN114612589A (zh) * | 2022-03-15 | 2022-06-10 | 长沙理工大学 | 一种基于注意力机制的稳定生成对抗网络在风格迁移中的应用 |
| US20220230276A1 (en) * | 2019-05-23 | 2022-07-21 | Deepmind Technologies Limited | Generative Adversarial Networks with Temporal and Spatial Discriminators for Efficient Video Generation |
| WO2022156350A1 (zh) * | 2021-01-25 | 2022-07-28 | 浙江师范大学 | 基于谱归一化层级式生成对抗网络的文本生成图像方法 |
| CN115482447A (zh) * | 2022-09-02 | 2022-12-16 | 浙江理工大学 | 一种基于生成对抗网络的纺织品瑕疵样本数字化生成方法 |
| CN115908602A (zh) * | 2022-09-29 | 2023-04-04 | 西北大学 | 一种将风景照片转换为中国山水画的风格迁移方法 |
| CN116052053A (zh) * | 2023-01-17 | 2023-05-02 | 中南民族大学 | 一种智慧文博下的监控图像准确度提升方法及装置 |
-
2023
- 2023-07-05 CN CN202310818764.0A patent/CN116958468A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084121A (zh) * | 2019-03-27 | 2019-08-02 | 南京邮电大学 | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| US20220230276A1 (en) * | 2019-05-23 | 2022-07-21 | Deepmind Technologies Limited | Generative Adversarial Networks with Temporal and Spatial Discriminators for Efficient Video Generation |
| CN111091616A (zh) * | 2019-11-25 | 2020-05-01 | 艾瑞迈迪科技石家庄有限公司 | 一种三维超声图像的重建方法及装置 |
| CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
| KR20220011572A (ko) * | 2020-07-21 | 2022-01-28 | 고려대학교 산학협력단 | 딥러닝을 이용한 지진 데이터 생성 방법 및 그 장치 |
| CN112163605A (zh) * | 2020-09-17 | 2021-01-01 | 中国石油大学(华东) | 一种基于生成注意力网络的多域图像翻译方法 |
| CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
| WO2022156350A1 (zh) * | 2021-01-25 | 2022-07-28 | 浙江师范大学 | 基于谱归一化层级式生成对抗网络的文本生成图像方法 |
| CN114037600A (zh) * | 2021-10-11 | 2022-02-11 | 长沙理工大学 | 一种基于新注意力机制的新CycleGAN风格迁移网络 |
| CN114612589A (zh) * | 2022-03-15 | 2022-06-10 | 长沙理工大学 | 一种基于注意力机制的稳定生成对抗网络在风格迁移中的应用 |
| CN115482447A (zh) * | 2022-09-02 | 2022-12-16 | 浙江理工大学 | 一种基于生成对抗网络的纺织品瑕疵样本数字化生成方法 |
| CN115908602A (zh) * | 2022-09-29 | 2023-04-04 | 西北大学 | 一种将风景照片转换为中国山水画的风格迁移方法 |
| CN116052053A (zh) * | 2023-01-17 | 2023-05-02 | 中南民族大学 | 一种智慧文博下的监控图像准确度提升方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| TAESUNG PARK, ET AL;: "带有空间自适应归一化的语义图像合成", ARXIV, pages 1 - 19 * |
| 李媛;陈昭炯;叶东毅;: "注意力引导的交互式工笔花卉上色算法", 模式识别与人工智能, no. 07 * |
| 李树志等编著: "《采煤沉陷区土地复垦技术》", vol. 2014, 31 December 2014, 煤炭工业出版社, pages: 48 - 49 * |
| 李炬;黄文培;: "基于生成对抗网络的图像修复技术研究", 计算机应用与软件, no. 12 * |
| 杨植凯;卜乐平;王腾;欧阳继能;: "基于循环一致性对抗网络的室内火焰图像场景迁移", 光学精密工程, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118823154A (zh) * | 2024-06-21 | 2024-10-22 | 北京东方瑞丰航空技术有限公司 | 基于卫星图片的雪景仿真方法、系统、电子设备及介质 |
| CN118799561A (zh) * | 2024-09-12 | 2024-10-18 | 中国人民解放军海军航空大学 | 一种海上目标sar图像预处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362329B (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| CN113128134B (zh) | 一种矿区生态环境演变驱动因子权重量化分析方法 | |
| CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
| CN109784283B (zh) | 基于场景识别任务下的遥感图像目标提取方法 | |
| Liu et al. | Deep multiview union learning network for multisource image classification | |
| CN116958468A (zh) | 基于SCycleGAN的高山积雪环境模拟方法及系统 | |
| CN114022729B (zh) | 基于孪生网络和监督训练的异源图像匹配定位方法和系统 | |
| CN101699514B (zh) | 基于免疫克隆量子聚类的sar图像分割方法 | |
| CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
| CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| Mao et al. | Uasnet: Uncertainty adaptive sampling network for deep stereo matching | |
| CN112101189B (zh) | 基于注意力机制的sar图像目标检测方法及测试平台 | |
| CN112529828A (zh) | 参考数据非敏感的遥感影像时空融合模型构建方法 | |
| Kwak et al. | Semi-supervised land cover classification of remote sensing imagery using CycleGAN and EfficientNet | |
| MohanRajan et al. | Fuzzy Swin transformer for land use/land cover change detection using LISS-III Satellite data | |
| Nousias et al. | Accelerating deep neural networks for efficient scene understanding in multi-modal automotive applications | |
| Sun et al. | SAR vehicle image generation with integrated deep imaging geometric information | |
| Wang et al. | TTSR: A transformer-based topography neural network for digital elevation model super-resolution | |
| CN111179272A (zh) | 一种面向道路场景的快速语义分割方法 | |
| CN110956221A (zh) | 基于深度递归网络下小样本极化合成孔径雷达图像分类方法 | |
| CN118262244B (zh) | 一种端到端的高光谱图像分类方法、系统、设备及终端 | |
| CN111967516B (zh) | 一种逐像素分类方法、存储介质及分类设备 | |
| CN118505919A (zh) | 基于多源信息融合的地图重建方法及其系统 | |
| CN117935248A (zh) | 一种基于实例对齐顺序融合的3d目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20231027 |