CN109658508A - 一种多尺度细节融合的地形合成方法 - Google Patents

Abstract

本发明公开了一种多尺度细节融合的地形合成方法，该方法利用数字高程模型（DEM）的地形数据块，采用多尺度细节融合的深度学习策略，可以根据用户输入的草图定制出具有真实感细节的地形。

Description

一种多尺度细节融合的地形合成方法

技术领域

本发明涉及虚拟仿真领域的地形合成技术，具体涉及一种多尺度细节融合的地形合成方法，利用数字高程模型(Digital Elevation Mode，简称DEM)的地形数据块，采用显著性特征子网络和多尺度细节融合子网络构建深度学习的网络；在地形合成时，根据用户手绘草图，结合输入高程数据，利用预先学习的显著特征，采用多尺度细节融合的深度学习策略，定制出具有真实感细节的地形。

背景技术

虚拟仿真中的地形是三维场景中的主要视觉元素，由于其具有广泛应用价值，使得地形合成技术成为了计算机视觉领域的研究热点。目前地形合成技术大致可以分为以下几类：基于过程性的建模方法、基于物理侵蚀的建模方法、基于用户草图的建模方法以及基于深度学习的策略。为了实现地形的智能化合成，近年来机器学习和深度学习飞速发展，研究人员尝试用人工智能方法理解真实地形数据中的隐式特征，并出现了基于卷积神经网络的地形合成方法，并实现了对用户输入山脉轮廓线进行深度信息预测，提高了合成地形的合理性。但是，利用深度学习方法合成地形，存在的主要问题就是网络的结构复杂，网络参数训练难于收敛，这些都是目前智能化地形合成研究中存在的问题。

发明内容

本发明的目的是针对现有技术的不足,并针对深度学习的智能化地形合成中的实际问题，提出一种多尺度细节融合的地形合成方法，利用DEM的地形数据块，采用显著性特征子网络和多尺度细节融合子网络构建深度学习的网络，根据用户手绘草图，结合输入高程数据，利用预先学习的显著特征，采用多尺度细节融合的深度学习策略，该方法具有简单、有效的特点，能够根据用户手绘草图合成具有样例地形风格的特定地形。

实现本发明目的的具体技术方案是：一种多尺度细节融合的地形合成方法，特点是该方法包括以下具体步骤：

步骤1：构建数据集

(1)准备高程数据块

从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为H_A，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为N_t×N_t，N_t为256、512或者1024；G中像素点的数目为K＝N_t×N_t；

(2)按照下列步骤进行显著性区域提取：

(a)计算A的熵p_k是A的3×3邻域T中的第k个点高度H_k的分布，k＝1,2…,9，p_k计算为：

其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，H_t(t＝1,2,…,9)表示邻域T中的点高度；

(b)建立A的特征向量：V_A＝(E_A,H_A)，再利用特征向量构建特征向量集S；

(c)从S中随机选取M个特征向量，作为M个聚类中心，3≤M≤5，利用K-means方法，对S中的特征向量聚成M个类：L_f(f＝1,2…,M)；

(d)分别对各类L_f(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为L_m(1≤m≤M)，将L_m看作是显著性区域，用L_m建立数据集：L_m中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；

(3)建立显著性区域L_m的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为N_t×N_t，N_t为256、512或者1024，由B和I构成一个数据对，建立由Q个数据组构成的数据集S1(1000≤Q≤1500)；再建立由Q个数据组构成的数据集S2，S2的每一组数据由B、I和G构成；

步骤2：网络拓扑结构设计

网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；

显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为N_t×N_t×3，输出是I，形状为N_t×N_t×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为N_t×N_t×3；

G1网络拓扑结构的设计方法：采用U-net架构：

(1)编码器及解码均采用L_t(8≤L_t≤10)层卷积神经网络的架构，若N_t为256，L_t为8；若N_t为512，L_t为9；若N_t为1024，L_t为10；编码器有L_t层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；当N_t为256，T_k取64；当N_t为512，T_k取32；当N_t为1024，T_k取16；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层的卷积核个数减半；在L_t层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第L_t-1层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第L_t-2层连接，作为解码器第L_t-1层的输入，按照这样方式，进行跨层连接；

G2基础网络采用U-net架构，具体网络结构与G1网络构建方法相似,采用U-net架构,具体结构如下:

(1)编码器及解码均采用L_t(8≤L_t≤10)层卷积神经网络的架构，若N_t为256，L_t为8；若N_t为512，L_t为9；若N_t为1024，L_t为10；编码器有L_t层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；当N_t为256，T_k取64；当N_t为512，T_k取32；当N_t为1024，T_k取16；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层卷积核个数减半；在L_t层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第L_t-1层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第L_t-2层连接，作为解码器第L_t-1层的输入，按照这样方式，进行跨层连接；

G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；

步骤3：神经网络的训练

首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，表示样本为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：

训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β₁＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；

对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ₁q+λ₂j+λ₃m，λ₁，λ₂，λ₃是权重系数，其中e、q、j、m分别定义如下：

e为判别损失项，定义为：这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，表示生成的地形灰度图像；

q为生成地形灰度图像的一致性损失项，定义为：x表示样例地形灰度监督图像，表示生成的地形灰度图像；

j定义为多尺度生成损失：其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u₁、u₂、u₃，它们分别对应分辨率为N_t×N_t、(N_t/2)×(N_t/2)、(N_t/4)×(N_t/4)的损失；u_i(i＝1，2，3)定义为其中，s表示规模，s_i与为相同级别下的显著性区域掩模图像，s₁是显著性区域掩模监督样本，s₂是s₁进行下采样一次的得到的结果，s₃是s₁进行下采样两次的得到的结果；是G1输出的显著性区域掩模图像，是进行下采样一次的得到的结果，是进行下采样两次的得到的结果；

m为生成的骨架一致性损失，定义为：其中，r表示数据集S2中的B，是G2网络输出的合成地形的骨架图像；

G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β₁取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ₁取10.0，λ₂取1.0，λ₃取2.0；

步骤4：地形合成方法

采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。

本发明的有益效果

利用本专利提出的方法能够在真实高程地形的约束下，通过用户草图自动化地合成定制的真实感三维地形，且能保证合成的地形在外观上符合用户需要。特别是对于训练好的神经网络模型训练，可以多次使用，多次并根据用户需要合成地形。

附图说明

图1为本发明利用DEM地形样例合成地形的结果图；

图2为本发明合成地形的三维视图；

图3为本发明与现有方法合成地形结果比较图。

具体实施方式

下面结合附图及实施例对本发明进一步说明。

实施例

本实施例在PC机上Windows10 64位操作系统下进行实施，其硬件配置是处理器 Core^TM i5-7500 3.4GHz CPU，8GB内存，软件环境为Matlab 2015b，编程采用Python语言，结合视觉开源库OpenCV 2.4.4以及开源栅格空间数据转换库GDAL。

本实施例包括以下具体步骤：

步骤1：构建数据集

(1)准备高程数据块

从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为H_A，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为N_t×N_t(N_t为256)；；G中像素点的数目为K＝N_t×N_t；

(2)按照下列方法进行显著性区域提取:

(a)计算A的熵p_k是A的3×3邻域T中的第k个点高度H_k的分布，k＝1,2…,9，p_k计算为：

其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，H_t(t＝1,2,…,9)表示邻域T中的点高度；

(b)建立A的特征向量：V_A＝(E_A,H_A)，再利用特征向量构建特征向量集S；

(c)从S中随机选取M个特征向量，作为M个聚类中心，M取3，利用K-means方法，对S中的特征向量聚成M个类：L_f(f＝1,2…,M)；

(d)分别对各类L_f(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为L_m(1≤m≤M)，将L_m看作是显著性区域，用L_m建立数据集：L_m中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；

(3)建立显著性区域L_m的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为N_t×N_t，由B和I构成一个数据对，建立由1250个数据组构成的数据集S1；再建立由1250个数据组构成的数据集S2，S2的每一组数据由B、I和G构成。

网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；

显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为N_t×N_t×3，输出是I，形状为N_t×N_t×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为N_t×N_t×3；

G1网络拓扑结构的设计方法：采用U-net架构：

(1)编码器及解码均采用8层卷积神经网络的架构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；T_k取64；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层的卷积核个数减半；在8层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第7层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第6层连接，作为解码器第7层的输入，按照这样方式，进行跨层连接；

G2基础网络采用U-net架构，具体网络结构与G1网络构建方法相似,采用U-net架构,具体结构如下:

(1)编码器及解码均采用8层卷积神经网络的架构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；T_k取64；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层的卷积核个数减半；在8层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第7层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第6层连接，作为解码器第7层的输入，按照这样方式，进行跨层连接；

G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；

步骤3：神经网络的训练

首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，表示样本为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：

训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β₁＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；

对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ₁q+λ₂j+λ₃m，λ₁，λ₂，λ₃是权重系数，其中e、q、j、m分别定义如下：

e为判别损失项，定义为：这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，表示生成的地形灰度图像；

q为生成地形灰度图像的一致性损失项，定义为：x表示样例地形灰度监督图像，表示生成的地形灰度图像；

j定义为多尺度生成损失：其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u₁、u₂、u₃，它们分别对应分辨率为N_t×N_t、(N_t/2)×(N_t/2)、(N_t/4)×(N_t/4)的损失；u_i(i＝1，2，3)定义为其中，s表示规模，s_i与为相同级别下的显著性区域掩模图像，s₁是显著性区域掩模监督样本，s₂是s₁进行下采样一次的得到的结果，s₃是s₁进行下采样两次的得到的结果；是G1输出的显著性区域掩模图像，是进行下采样一次的得到的结果，是进行下采样两次的得到的结果；

m为生成的骨架一致性损失，定义为：其中，r表示数据集S2中的B，是G2网络输出的合成地形的骨架图像；

G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β₁取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ₁取10.0，λ₂取1.0，λ₃取2.0；

步骤4：地形合成方法

采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。

图1为根据用户草图，利用DEM地形样例合成地形的结果，图中从左至右的三列中，第一列是高程的骨架用作用户草图，第二列是地形样例的DEM，用作对比，第三列是本发明的合成结果，从图中可以看出，本发明比较有效，能够合成具有真实感细节的地形。

图2为合成地形的三维视图，图中从左至右的三列中，第一列是用户草图，第二列是本发明的合成地形结果，第三列是合成地形的三维视图，从图中可以看出，本发明能够合成具有三维真实感的地形结果。

图3是与现有方法的比较结果。图中从左至右的三列中，第一列是用户草图，第二列是现有方法的合成结果，第三列是本发明的合成地形结果，从图中可以看出，这里本发明的方法比较有效，可以根据用户草图实现真实感地形的合成，简单方便。

Claims (1)

1.一种多尺度细节融合的地形合成方法，其特征在于，该方法通过显著性特征子网络和多尺度细节融合子网络，实现真实感地形的合成，具体包括以下步骤：

步骤1：构建数据集

(1)准备高程数据块

从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为H_A，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为N_t×N_t，N_t为256、512或者1024；G中像素点的数目为K＝N_t×N_t；

(2)按照下列步骤进行显著性区域提取：

(a)计算A的熵p_k是A的3×3邻域T中的第k个点高度H_k的分布，k＝1,2…,9，p_k计算为：

其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，H_t(t＝1,2,…,9)表示邻域T中的点高度；

(b)建立A的特征向量：V_A＝(E_A,H_A)，再利用特征向量构建特征向量集S；

(c)从S中随机选取M个特征向量，作为M个聚类中心，3≤M≤5，利用K-means方法，对S中的特征向量聚成M个类：L_f(f＝1,2…,M)；

(d)分别对各类L_f(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为L_m(1≤m≤M)，将L_m看作是显著性区域，用L_m建立数据集：L_m中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；

(3)建立显著性区域L_m的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为N_t×N_t，N_t为256、512或者1024，由B和I构成一个数据对，建立由Q个数据组构成的数据集S1(1000≤Q≤1500)；再建立由Q个数据组构成的数据集S2，S2的每一组数据由B、I和G构成；

步骤2：网络拓扑结构设计

网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；

显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为N_t×N_t×3，输出是I，形状为N_t×N_t×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为N_t×N_t×3；

G1网络拓扑结构的设计方法：采用U-net架构：

(1)编码器及解码均采用L_t(8≤L_t≤10)层卷积神经网络的架构，若N_t为256，L_t为8；若N_t为512，L_t为9；若N_t为1024，L_t为10；编码器有L_t层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；当N_t为256，T_k取64；当N_t为512，T_k取32；当N_t为1024，T_k取16；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层的卷积核个数减半；在L_t层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第L_t-1层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第L_t-2层连接，作为解码器第L_t-1层的输入，按照这样方式，进行跨层连接；

G2基础网络采用U-net架构，具体结构如下:

(1)编码器及解码均采用L_t(8≤L_t≤10)层卷积神经网络的架构，若N_t为256，L_t为8；若N_t为512，L_t为9；若N_t为1024，L_t为10；编码器有L_t层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为T_k；当N_t为256，T_k取64；当N_t为512，T_k取32；当N_t为1024，T_k取16；编码器输出特征图尺寸为1×1；

(2)解码器为L_t层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为N_t，从第2层及其之后各层卷积核个数减半；在L_t层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；

(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第L_t-1层输入特征图连接，作为解码器第L_t转置卷积层的输入；同样地，编码器第2层与解码器第L_t-2层连接，作为解码器第L_t-1层的输入，按照这样方式，进行跨层连接；

G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；

步骤3：神经网络的训练

首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，表示样本为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：

训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β₁＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；

对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ₁q+λ₂j+λ₃m，λ₁，λ₂，λ₃是权重系数，其中e、q、j、m分别定义如下：

e为判别损失项，定义为：这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，表示生成的地形灰度图像；

q为生成地形灰度图像的一致性损失项，定义为：x表示样例地形灰度监督图像，表示生成的地形灰度图像；

j定义为多尺度生成损失：其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u₁、u₂、u₃，它们分别对应分辨率为N_t×N_t、(N_t/2)×(N_t/2)、(N_t/4)×(N_t/4)的损失；u_i(i＝1，2，3)定义为其中，s表示规模，s_i与为相同级别下的显著性区域掩模图像，s₁是显著性区域掩模监督样本，s₂是s₁进行下采样一次的得到的结果，s₃是s₁进行下采样两次的得到的结果；是G1输出的显著性区域掩模图像，是进行下采样一次的得到的结果，是进行下采样两次得到的结果；

m为生成的骨架一致性损失，定义为：其中，r表示数据集S2中的B，是G2网络输出的合成地形的骨架图像；

G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β₁取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ₁取10.0，λ₂取1.0，λ₃取2.0；

步骤4：地形合成

采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。