CN109658508B - 一种多尺度细节融合的地形合成方法 - Google Patents
一种多尺度细节融合的地形合成方法 Download PDFInfo
- Publication number
- CN109658508B CN109658508B CN201811430770.4A CN201811430770A CN109658508B CN 109658508 B CN109658508 B CN 109658508B CN 201811430770 A CN201811430770 A CN 201811430770A CN 109658508 B CN109658508 B CN 109658508B
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- image
- convolution
- terrain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多尺度细节融合的地形合成方法，该方法利用数字高程模型（DEM）的地形数据块，采用多尺度细节融合的深度学习策略，可以根据用户输入的草图定制出具有真实感细节的地形。
Description
技术领域
本发明涉及虚拟仿真领域的地形合成技术，具体涉及一种多尺度细节融合的地形合成方法，利用数字高程模型(Digital Elevation Mode，简称DEM)的地形数据块，采用显著性特征子网络和多尺度细节融合子网络构建深度学习的网络；在地形合成时，根据用户手绘草图，结合输入高程数据，利用预先学习的显著特征，采用多尺度细节融合的深度学习策略，定制出具有真实感细节的地形。
背景技术
虚拟仿真中的地形是三维场景中的主要视觉元素，由于其具有广泛应用价值，使得地形合成技术成为了计算机视觉领域的研究热点。目前地形合成技术大致可以分为以下几类：基于过程性的建模方法、基于物理侵蚀的建模方法、基于用户草图的建模方法以及基于深度学习的策略。为了实现地形的智能化合成，近年来机器学习和深度学习飞速发展，研究人员尝试用人工智能方法理解真实地形数据中的隐式特征，并出现了基于卷积神经网络的地形合成方法，并实现了对用户输入山脉轮廓线进行深度信息预测，提高了合成地形的合理性。但是，利用深度学习方法合成地形，存在的主要问题就是网络的结构复杂，网络参数训练难于收敛，这些都是目前智能化地形合成研究中存在的问题。
发明内容
本发明的目的是针对现有技术的不足,并针对深度学习的智能化地形合成中的实际问题，提出一种多尺度细节融合的地形合成方法，利用DEM的地形数据块，采用显著性特征子网络和多尺度细节融合子网络构建深度学习的网络，根据用户手绘草图，结合输入高程数据，利用预先学习的显著特征，采用多尺度细节融合的深度学习策略，该方法具有简单、有效的特点，能够根据用户手绘草图合成具有样例地形风格的特定地形。
实现本发明目的的具体技术方案是：一种多尺度细节融合的地形合成方法，特点是该方法包括以下具体步骤：
步骤1：构建数据集
(1)准备高程数据块
从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为HA，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为Nt×Nt，Nt为256、512或者1024；G中像素点的数目为K＝Nt×Nt；
(2)按照下列步骤进行显著性区域提取：
(a)计算A的熵
pk是A的3×3邻域T中的第k个点高度Hk的分布，k＝1,2…,9，pk计算为：/>
其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，Ht(t＝1,2,…,9)表示邻域T中的点高度；
(b)建立A的特征向量：VA＝(EA,HA)，再利用特征向量构建特征向量集S；
(c)从S中随机选取M个特征向量，作为M个聚类中心，3≤M≤5，利用K-means方法，对S中的特征向量聚成M个类：Lf(f＝1,2…,M)；
(d)分别对各类Lf(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为Lm(1≤m≤M)，将Lm看作是显著性区域，用Lm建立数据集：Lm中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；
(3)建立显著性区域Lm的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为Nt×Nt，Nt为256、512或者1024，由B和I构成一个数据对，建立由Q个数据组构成的数据集S1(1000≤Q≤1500)；再建立由Q个数据组构成的数据集S2，S2的每一组数据由B、I和G构成；
步骤2：网络拓扑结构设计
网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；
显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为Nt×Nt×3，输出是I，形状为Nt×Nt×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为Nt×Nt×3；
G1网络拓扑结构的设计方法：采用U-net架构：
(1)编码器及解码均采用Lt(8≤Lt≤10)层卷积神经网络的架构，若Nt为256，Lt为8；若Nt为512，Lt为9；若Nt为1024，Lt为10；编码器有Lt层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；当Nt为256，Tk取64；当Nt为512，Tk取32；当Nt为1024，Tk取16；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层的卷积核个数减半；在Lt层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第Lt-1层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第Lt-2层连接，作为解码器第Lt-1层的输入，按照这样方式，进行跨层连接；
G2基础网络采用U-net架构，具体网络结构与G1网络构建方法相似,采用U-net架构,具体结构如下:
(1)编码器及解码均采用Lt(8≤Lt≤10)层卷积神经网络的架构，若Nt为256，Lt为8；若Nt为512，Lt为9；若Nt为1024，Lt为10；编码器有Lt层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；当Nt为256，Tk取64；当Nt为512，Tk取32；当Nt为1024，Tk取16；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层卷积核个数减半；在Lt层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第Lt-1层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第Lt-2层连接，作为解码器第Lt-1层的输入，按照这样方式，进行跨层连接；
G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；
步骤3：神经网络的训练
首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：
其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；/>
表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，/>
表示样本/>
为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：/>
训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β1＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；
对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ1q+λ2j+λ3m，λ1，λ2，λ3是权重系数，其中e、q、j、m分别定义如下：
e为判别损失项，定义为：
这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；
q为生成地形灰度图像的一致性损失项，定义为：
x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；/>
j定义为多尺度生成损失：
其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u1、u2、u3，它们分别对应分辨率为Nt×Nt、(Nt/2)×(Nt/2)、(Nt/4)×(Nt/4)的损失；ui(i＝1，2，3)定义为/>
其中，s表示规模，si与
为相同级别下的显著性区域掩模图像，s1是显著性区域掩模监督样本，s2是s1进行下采样一次的得到的结果，s3是s1进行下采样两次的得到的结果；/>
是G1输出的显著性区域掩模图像，/>
是/>
进行下采样一次的得到的结果，/>
是/>
进行下采样两次的得到的结果；
m为生成的骨架一致性损失，定义为：
其中，r表示数据集S2中的B，/>
是G2网络输出的合成地形的骨架图像；
G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β1取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ1取10.0，λ2取1.0，λ3取2.0；
步骤4：地形合成方法
采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。
本发明的有益效果
利用本专利提出的方法能够在真实高程地形的约束下，通过用户草图自动化地合成定制的真实感三维地形，且能保证合成的地形在外观上符合用户需要。特别是对于训练好的神经网络模型训练，可以多次使用，多次并根据用户需要合成地形。
附图说明
图1为本发明利用DEM地形样例合成地形的结果图；
图2为本发明合成地形的三维视图；
图3为本发明与现有方法合成地形结果比较图。
具体实施方式
下面结合附图及实施例对本发明进一步说明。
实施例
本实施例在PC机上Windows10 64位操作系统下进行实施，其硬件配置是处理器
CoreTM i5-7500 3.4GHz CPU，8GB内存，软件环境为Matlab 2015b，编程采用Python语言，结合视觉开源库OpenCV 2.4.4以及开源栅格空间数据转换库GDAL。
本实施例包括以下具体步骤：
步骤1：构建数据集
(1)准备高程数据块
从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为HA，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为Nt×Nt(Nt为256)；；G中像素点的数目为K＝Nt×Nt；
(2)按照下列方法进行显著性区域提取:
(a)计算A的熵
pk是A的3×3邻域T中的第k个点高度Hk的分布，k＝1,2…,9，pk计算为：/>
其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，Ht(t＝1,2,…,9)表示邻域T中的点高度；
(b)建立A的特征向量：VA＝(EA,HA)，再利用特征向量构建特征向量集S；
(c)从S中随机选取M个特征向量，作为M个聚类中心，M取3，利用K-means方法，对S中的特征向量聚成M个类：Lf(f＝1,2…,M)；
(d)分别对各类Lf(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为Lm(1≤m≤M)，将Lm看作是显著性区域，用Lm建立数据集：Lm中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；
(3)建立显著性区域Lm的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为Nt×Nt，由B和I构成一个数据对，建立由1250个数据组构成的数据集S1；再建立由1250个数据组构成的数据集S2，S2的每一组数据由B、I和G构成。
网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；
显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为Nt×Nt×3，输出是I，形状为Nt×Nt×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为Nt×Nt×3；
G1网络拓扑结构的设计方法：采用U-net架构：
(1)编码器及解码均采用8层卷积神经网络的架构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；Tk取64；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层的卷积核个数减半；在8层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第7层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第6层连接，作为解码器第7层的输入，按照这样方式，进行跨层连接；
G2基础网络采用U-net架构，具体网络结构与G1网络构建方法相似,采用U-net架构,具体结构如下:
(1)编码器及解码均采用8层卷积神经网络的架构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；Tk取64；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层的卷积核个数减半；在8层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第7层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第6层连接，作为解码器第7层的输入，按照这样方式，进行跨层连接；
G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；
步骤3：神经网络的训练
首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：
其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；/>
表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，/>
表示样本/>
为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：/>
训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β1＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；
对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ1q+λ2j+λ3m，λ1，λ2，λ3是权重系数，其中e、q、j、m分别定义如下：
e为判别损失项，定义为：
这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；
q为生成地形灰度图像的一致性损失项，定义为：
x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；
j定义为多尺度生成损失：
其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u1、u2、u3，它们分别对应分辨率为Nt×Nt、(Nt/2)×(Nt/2)、(Nt/4)×(Nt/4)的损失；ui(i＝1，2，3)定义为/>
其中，s表示规模，si与/>
为相同级别下的显著性区域掩模图像，s1是显著性区域掩模监督样本，s2是s1进行下采样一次的得到的结果，s3是s1进行下采样两次的得到的结果；/>
是G1输出的显著性区域掩模图像，/>
是/>
进行下采样一次的得到的结果，/>
是/>
进行下采样两次的得到的结果；
m为生成的骨架一致性损失，定义为：
其中，r表示数据集S2中的B，/>
是G2网络输出的合成地形的骨架图像；
G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β1取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ1取10.0，λ2取1.0，λ3取2.0；
步骤4：地形合成方法
采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。
图1为根据用户草图，利用DEM地形样例合成地形的结果，图中从左至右的三列中，第一列是高程的骨架用作用户草图，第二列是地形样例的DEM，用作对比，第三列是本发明的合成结果，从图中可以看出，本发明比较有效，能够合成具有真实感细节的地形。
图2为合成地形的三维视图，图中从左至右的三列中，第一列是用户草图，第二列是本发明的合成地形结果，第三列是合成地形的三维视图，从图中可以看出，本发明能够合成具有三维真实感的地形结果。
图3是与现有方法的比较结果。图中从左至右的三列中，第一列是用户草图，第二列是现有方法的合成结果，第三列是本发明的合成地形结果，从图中可以看出，这里本发明的方法比较有效，可以根据用户草图实现真实感地形的合成，简单方便。
Claims (1)
1.一种多尺度细节融合的地形合成方法，其特征在于，该方法通过显著性特征子网络和多尺度细节融合子网络，实现真实感地形的合成，具体包括以下步骤：
步骤1：构建数据集
(1)准备高程数据块
从SRTM网站http://srtm.csi.cgiar.org下载WGS84坐标系统的高程数据块J并以tiff格式存储，其空间分辨率为90m×90m至200m×200m之间，J的任意点A的高度记为HA，根据J的高度信息建立灰度图像G：最高点对应白色，最低点对应黑色，在最高和最低点之间插值为灰色；G分辨率为Nt×Nt，Nt为256、512或者1024；G中像素点的数目为K＝Nt×Nt；
(2)按照下列步骤进行显著性区域提取：
(a)计算A的熵
pk是A的3×3邻域T中的第k个点高度Hk的分布，k＝1,2…,9，pk计算为：/>
其中，η为T中9个邻域点高度的最小值；δ为常量，取0.0001，Ht(t＝1,2,…,9)表示邻域T中的点高度；
(b)建立A的特征向量：VA＝(EA,HA)，再利用特征向量构建特征向量集S；
(c)从S中随机选取M个特征向量，作为M个聚类中心，3≤M≤5，利用K-means方法，对S中的特征向量聚成M个类：Lf(f＝1,2…,M)；
(d)分别对各类Lf(f＝1,2…,M)中像素粒子的熵进行求均值，将具有最大均值熵的类记为Lm(1≤m≤M)，将Lm看作是显著性区域，用Lm建立数据集：Lm中特征向量对应的像素粒子集记为G，利用D8算法，采用3×3窗口计算G中像素灰度的骨架，构建骨架图像B；
(3)建立显著性区域Lm的掩模图像I：显著性区域对应的前景为1，背景为0，I分辨率为Nt×Nt，Nt为256、512或者1024，由B和I构成一个数据对，建立由Q个数据组构成的数据集S1(1000≤Q≤1500)；再建立由Q个数据组构成的数据集S2，S2的每一组数据由B、I和G构成；
步骤2：网络拓扑结构设计
网络拓扑结构由显著性特征子网络和多尺度细节融和子网络构成；
显著性特征子网络G1采用生成式对抗网络进行构建，基本网络架构由U-net实现,网络输入是图像B，形状为Nt×Nt×3，输出是I，形状为Nt×Nt×3；多尺度细节融和子网络G2的基本网络采用U-net实现；G2的输入是图像I与B，输出是地形灰度图G，形状为Nt×Nt×3；
G1网络拓扑结构的设计方法：采用U-net架构：
(1)编码器及解码均采用Lt(8≤Lt≤10)层卷积神经网络的架构，若Nt为256，Lt为8；若Nt为512，Lt为9；若Nt为1024，Lt为10；编码器有Lt层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；当Nt为256，Tk取64；当Nt为512，Tk取32；当Nt为1024，Tk取16；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层的卷积核个数减半；在Lt层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第Lt-1层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第Lt-2层连接，作为解码器第Lt-1层的输入，按照这样方式，进行跨层连接；
G2基础网络采用U-net架构，具体结构如下:
(1)编码器及解码均采用Lt(8≤Lt≤10)层卷积神经网络的架构，若Nt为256，Lt为8；若Nt为512，Lt为9；若Nt为1024，Lt为10；编码器有Lt层子结构，每个子结构为1层卷积：采用4×4的卷积核，卷积步长为2，并在输入图像边界外邻域补零处理，每个卷积层的输出进行批归一化，使用Leaky Relu激活函数；第1层卷积核个数为Tk；当Nt为256，Tk取64；当Nt为512，Tk取32；当Nt为1024，Tk取16；编码器输出特征图尺寸为1×1；
(2)解码器为Lt层子结构，每层子结构由转置卷积层和连接层组成；转置卷积层的卷积核，设计为4×4，卷积步长为2，每个转置卷积层都进行批归一化，激活函数使用Relu；第1个层卷积的卷积核个数为Nt，从第2层及其之后各层卷积核个数减半；在Lt层之后使用一个额外的转置卷积层,解码器最后一层连接一个Tanh激活层，需要网络输出为-1至1之间的浮点数；
(3)编码器与解码器之间进行跨层连接：每个编码器中的卷积层都与解码器中相同尺寸的转置卷积层进行逐通道连接，并作为下一层转置卷积层的输入：即编码器第1层与解码器第Lt-1层输入特征图连接，作为解码器第Lt转置卷积层的输入；同样地，编码器第2层与解码器第Lt-2层连接，作为解码器第Lt-1层的输入，按照这样方式，进行跨层连接；
G1与G2的连接，具体方法为：将G1的输出图像I进行下采样两次，得到下采样的两个特征图,再结合原图像I，将三个图像分别加入到G2的编码器的前三层：原图像I加入到G2的第一层，下采样一次的结果加入G2的第二层，下采样两次的结果加入G2的第三层；
步骤3：神经网络的训练
首先，G1网络训练时，采用监督方法，使用数据集S1，训练100轮次，训练时，G1网络的损失函数l的定义由对抗损失项c和一致性损失项d组成:l＝c+λd，其中λ为两种损失的相对权重参数，5≤λ≤15，c为判别损失项，其定义为：
其中f(X)表示网络输出的显著性区域掩模图像集；x表示显著性区域掩模监督图像，D(x)函数表示样本x为真的概率；/>
表示生成的显著性区域掩模的图像，Y表示J的显著性区域掩模监督数据集，/>
表示样本/>
为假的概率，E表示能量损失函数；d为显著性区域一致性损失，它定义为：/>
训练时，G1网络采用NS GAN方法计算对抗损失项；在G1网络训练中，输入图像B，对G1训练100轮次，求取网络参数；使用的超参数如下所示：Dropout率取0.5，使用Adam优化器，动量β1＝0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，λ取10.0；
对G2子网络进行训练：利用G1网络训练得到的模型参数，采用监督方法，利用数据集S2训练5600轮次；G2网络的损失g定义为：g＝e+λ1q+λ2j+λ3m，λ1，λ2，λ3是权重系数，其中e、q、j、m分别定义如下：
e为判别损失项，定义为：
这里f(X)表示G2输出的地形灰度图像集；x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；
q为生成地形灰度图像的一致性损失项，定义为：
x表示样例地形灰度监督图像，/>
表示生成的地形灰度图像；
j定义为多尺度生成损失：
其中，i为尺度级别，为1、2、3不同级别，不同级别对应的掩模图像损失为u1、u2、u3，它们分别对应分辨率为Nt×Nt、(Nt/2)×(Nt/2)、(Nt/4)×(Nt/4)的损失；ui(i＝1，2，3)定义为/>
其中，s表示规模，si与/>
为相同级别下的显著性区域掩模图像，s1是显著性区域掩模监督样本，s2是s1进行下采样一次的得到的结果，s3是s1进行下采样两次的得到的结果；/>
是G1输出的显著性区域掩模图像，
是/>
进行下采样一次的得到的结果，/>
是/>
进行下采样两次得到的结果；
m为生成的骨架一致性损失，定义为：
其中，r表示数据集S2中的B，/>
是G2网络输出的合成地形的骨架图像；
G2网络训练使用的超参数：Dropout率取0.5，使用Adam优化器，动量β1取0.5，每批次样本数取1，生成器网络与判别器网络的学习率均取0.002，权重系数λ1取10.0，λ2取1.0，λ3取2.0；
步骤4：地形合成
采用画图软件画出草图图像V，作为手绘草图，将V输入到网络G2中，利用网络中已经训练好的参数进行预测，输出对应的地形灰度图像，进一步根据输入地形高度的最大值和最小值，即能得到定制地形合成结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811430770.4A CN109658508B (zh) | 2018-11-28 | 2018-11-28 | 一种多尺度细节融合的地形合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811430770.4A CN109658508B (zh) | 2018-11-28 | 2018-11-28 | 一种多尺度细节融合的地形合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658508A CN109658508A (zh) | 2019-04-19 |
| CN109658508B true CN109658508B (zh) | 2023-03-31 |
Family
ID=66111630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811430770.4A Active CN109658508B (zh) | 2018-11-28 | 2018-11-28 | 一种多尺度细节融合的地形合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658508B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210517B (zh) * | 2020-01-09 | 2021-11-19 | 浙江大学 | 一种基于神经网络的多风格地形的生成方法 |
| CN111626156B (zh) * | 2020-05-14 | 2023-05-09 | 电子科技大学 | 一种基于行人掩模和多尺度判别的行人生成方法 |
| CN112686996A (zh) * | 2020-12-28 | 2021-04-20 | 北京像素软件科技股份有限公司 | 游戏山脉地形创建方法、模型训练方法及相关装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN108776960A (zh) * | 2018-06-05 | 2018-11-09 | 电子科技大学中山学院 | 基于传播辅助kd树的地形特征区域合成方法和装置 |
-
2018
- 2018-11-28 CN CN201811430770.4A patent/CN109658508B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018028255A1 (zh) * | 2016-08-11 | 2018-02-15 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
| CN108776960A (zh) * | 2018-06-05 | 2018-11-09 | 电子科技大学中山学院 | 基于传播辅助kd树的地形特征区域合成方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 全红艳.基于学习策略的地形合成技术研究.《中国硕士论文数据库信息科技辑》 .2019,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658508A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410307B (zh) | 一种场景点云语义分割方法 | |
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| CN110390638B (zh) | 一种高分辨率三维体素模型重建方法 | |
| CN111402143B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN109558862B (zh) | 基于空间感知的注意力细化框架的人群计数方法及系统 | |
| CN111767979A (zh) | 神经网络的训练方法、图像处理方法、图像处理装置 | |
| CN109658508B (zh) | 一种多尺度细节融合的地形合成方法 | |
| CN109117894B (zh) | 一种基于全卷积神经网络的大尺度遥感图像楼房分类方法 | |
| CN112837215B (zh) | 一种基于生成对抗网络的图像形状变换方法 | |
| CN113762147B (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
| CN111079851B (zh) | 基于强化学习和双线性卷积网络的车型识别方法 | |
| CN113077554A (zh) | 一种基于任意视角图片的三维结构化模型重建的方法 | |
| CN110706303A (zh) | 基于GANs的人脸图像生成方法 | |
| CN109447897B (zh) | 一种真实场景图像合成方法及系统 | |
| CN113449612B (zh) | 一种基于子流型稀疏卷积的三维目标点云识别的方法 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| CN111931779A (zh) | 一种基于条件可预测参数的图像信息提取与生成方法 | |
| CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| CN114494003B (zh) | 一种联合形状变换和纹理转换的古文字生成方法 | |
| CN116310219A (zh) | 一种基于条件扩散模型的三维脚型生成方法 | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 | |
| CN109598771B (zh) | 一种多地貌特征约束的地形合成方法 | |
| CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |