CN109360231A - 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法 - Google Patents

基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法 Download PDF

Info

Publication number
CN109360231A
CN109360231A CN201811248556.7A CN201811248556A CN109360231A CN 109360231 A CN109360231 A CN 109360231A CN 201811248556 A CN201811248556 A CN 201811248556A CN 109360231 A CN109360231 A CN 109360231A
Authority
CN
China
Prior art keywords
sea ice
remote sensing
network
sensing image
depth convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811248556.7A
Other languages
English (en)
Other versions
CN109360231B (zh
Inventor
闫奕名
宿南
赵春晖
王立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201811248556.7A priority Critical patent/CN109360231B/zh
Publication of CN109360231A publication Critical patent/CN109360231A/zh
Application granted granted Critical
Publication of CN109360231B publication Critical patent/CN109360231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/48—Analysis of texture based on statistical description of texture using fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，包括以下步骤：步骤1：收集N幅实际海冰遥感图像，利用分形方法生成N个K×K的海冰场景高程矩阵；步骤2：依据每个高程矩阵和海冰色带，逐一索引生成初始仿真海冰RGB图像集；步骤3：将初始仿真海冰RGB图像矢量化，形成N个初始化矢量数据；步骤4：利用步骤3形成的矢量数据作为生成网络初始输入，同时初始化生成网络和判别网络权重参数；步骤5：利用N幅实际海冰遥感图像训练分形深度卷积生成对抗网络；步骤6：通过步骤1～步骤3重新生成矢量数据，将数据输入步骤5所训练完成的分形深度卷积生成对抗网络。本发明能够降低网络计算量，同时提升海冰仿真效果。

Description

基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法
技术领域
本发明涉及一种海冰遥感图像仿真方法，特别是一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法(Fractal Deep Convolutional Generative AdversarialNetworks，FDCGAN)，本发明属于极地遥感图像分析和仿真研究领域。
背景技术
随着北极海冰的加速融化，越来越多的船只在特殊时间尝试将北极水路作为较短的商业路线，然而恶劣的海冰环境仍然是北部沿海地带和极地航行的巨大威胁。对极地海冰遥感图像的分析和研究，对冰情分析、导航、海冰预警意义重大。当今，极地海冰遥感图像是非常稀有资源，一方面极地航行机会较少，实地飞行也具有一定难度，另外卫星影像易收到恶劣天气、云雾等影响，难以有效应用。因而大多数研究人员几乎没有机会收集有效的研究数据。可见研究一种图像仿真生成方法是必要的。
深度卷积生成对抗网络(DCGAN)是最近几年提出的图像生成方法之一，对多种自然场景都有很好的性能，能够得到十分逼真的仿真图像，从而得到了广泛应用。传统DCGAN的初始化输入为1×100的随机向量，进而训练完成后，可通过输入统一维度的随机向量得到相应的图像。除了DCGAN之外，分形理论对于多种场景的图像生成也是有效的。研究发现，海冰具有云、树木、海岸线等相似的分形特性，因而可基于分形的方法仿真生成海冰图像，进而，如果用分形理论获得仿真图像作为DCGAN的初始化，则可让DCGAN更加快速学习海冰的分形特性，并以此作为约束，改进DCGAN仿真图像的效果，同时由于初始数据已具备了海冰图像特征，因而相对输入随机向量，更易促进DCGAN的收敛效率。受此启发，引入分形深卷积生成对抗网络(FDCGAN)。
综上所述，本发明提出基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法(FDCGAN)进行海冰图像仿真生成。从国际上近期研究设计的北冰洋色带图中筛选了色带。将分形仿真图进行矢量化，选择了维度更低的输入层向量，降低了网络计算量，同时能够提升海冰仿真效果。
发明内容
针对上述现有技术，本发明要解决的技术问题是提供一种能够降低网络计算量，同时提升海冰仿真效果的基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法。
为解决上述技术问题，本发明一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，包括以下步骤：
步骤(1)：收集N幅实际海冰遥感图像，利用分形方法生成N个K×K的海冰场景高程矩阵；
步骤(2)：依据每个高程矩阵和海冰色带，按步骤(1)生成的海冰场景高程矩阵逐一索引生成初始仿真海冰RGB图像集；
步骤(3)：将步骤(2)生成的初始仿真海冰RGB图像矢量化，形成N个初始化矢量数据；
步骤(4)：利用步骤(3)形成的矢量数据作为生成网络初始输入，同时初始化生成网络和判别网络权重参数；
步骤(5)：利用N幅实际海冰遥感图像训练分形深度卷积生成对抗网络；
步骤(6)：通过步骤(1)～步骤(3)重新生成矢量数据，将重新生成矢量数据输入步骤(5)所训练完成的分形深度卷积生成对抗网络。
本发明还包括：
1.步骤(1)中分形方法使用菱形-正方形算法生成N个K×K的海冰场景高程矩阵，计算正方形基平面中心处高度满足：
其中HC是正方形基平面中心出的高度值；H00、H01、H11、H10分别为基平面四个角点处的高度值；D0是中心点处的随机偏移量，D0为满足高斯分布的随机变量，D0的概率密度函数为f(x)，满足：
其中，均值μ∈[0,100]，方差σ∈[0,1]。
2.步骤(3)中矢量化是将每幅K×K×3的仿真RGB图像先按从R、G、B三个矩阵先后顺序排列，随后对每个矩阵从左上角像素进行Z字形扫描所有像素值，并依次排列形成矢量。
本发明有益效果：改进了传统DCGAN采用随机向量初始化生成网络部分；采用基于菱形-正方形算法(Diamond-Square算法)生成仿真的海冰地形矩阵,将其作为DCGAN的生成网络部分的初始化，使得初始化数据具备了分形特征；生成网络维度降低，大幅减小了网络训练和测试的计算量。
附图说明
图1基于F-DCGAN的海冰机载遥感图像仿真方法流程图；
图2基于Diamond-Square算法生成仿真的海冰地形矩阵技术流程图；
图3初始仿真海冰RGB图像像素值索引及矩阵矢量化流程图；
图4(a)传统DCGAN与本发明FDCGAN的仿真效果对比图-实际海冰图像；
图4(b)传统DCGAN与本发明FDCGAN的仿真效果对比图-传统DCGAN生成的海冰图像；
图4(c)传统DCGAN与本发明FDCGAN的仿真效果对比图-FDCGAN生成的海冰图像
具体实施方式
下面结合附图举例对本发明做更详细地描述，本发明总体技术流程参照图1，具体方案如下：
步骤(1)：首先收集N幅实际海冰图像，该部分由美国国家航空航天局NASA所提供的数据网站获得。然后利用基于菱形-正方形算法(Diamond-Square算法)生成N个海冰场景的高程矩阵，Diamond-Square算法的具体流程参照图2，即首先随机初始化一个K×K的高程矩阵，然后对该矩阵四个角点的初值，然后进入Diamond步骤，利用四个角点的均值定义中点的值，然后利用该中点按四个边对称的原则，向上下左右镜像出四个点。进入Square步骤，分别以原矩阵各边上两角点、Diamond步骤的中点、以及一个镜像点的值取均值确定原矩阵边中点的值。以此类推，交替使用Diamond、Square步骤得到矩阵内部各点的值，最终得到具备分形特性的高程矩阵；
步骤(2)：依据每个高程矩阵和海冰色带，逐一索引生成初始仿真海冰RGB图像集；其中海冰色带可以从N幅实际海冰图像中筛选，亦可自定义格式一般为C×3的矩阵，本发明采用了某极地海洋色带研究文献中所提供的研究结果数据，为256×3的色带矩阵，该矩阵每行3个数值分别对应一种R,G,B索引值，将高程矩阵量化到256个灰度级，高程矩阵中不同位置即利用其高程值所在灰度级选择色带矩阵中对应的行进行颜色赋值，从而获得初始仿真K×K×3的RGB图像。
步骤(3)：参照图3将初始仿真海冰图像矢量化，形成N个初始化矢量数据；具体方式为将每幅K×K×3的仿真RGB图像先按从R、G、B三个band矩阵先后顺序排列，随后对每个band矩阵从左上角像素进行Z字形扫描所有像素值，并依次排列形成矢量。
步骤(4)：利用步骤(3)矢量数据作为生成网络初始输入，替换原算法1×100的随机向量。同时初始化生成网络和判别网络权重参数，各参数的初始化均采用高斯随机数；
步骤(5)：利用N幅实际海冰遥感图像训练分形深度卷积生成对抗网络，训练方式可参照一般DCGAN常规训练方式；
步骤(6)：通过步骤(1)～步骤(3)重新生成矢量数据，将其输入步骤(5)所训练完成的分形深度卷积生成对抗网络，则可生成更高质量的仿真海冰遥感图像，最终仿真效果参照图4(a)、图4(b)和图4(c)，给出了9组真实海冰图像，9组DCGAN所生成的仿真海冰图像，以及9组用与DCGAN同样训练样本集、同样参数设置训练得到的FDCGAN所生成的仿真海冰图像。
上述为本发明特举之实施例，并非用以限定本发明。本发明提供的基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，其对生成对抗网络的生成网络初始化输入的改进策略，也可适用于其他的具备分形特性的地物类型图像仿真。在不脱离本发明的实质和范围内，可做些许的调整和优化，以本发明的保护范围以权利要求为准。
本发明具体实施方式还包括，包括以下步骤：
步骤(1)：首先收集N幅实际海冰图像，利用分形方法生成N个海冰场景的高程矩阵；
步骤(2)：依据每个高程矩阵和海冰色带，逐一索引生成初始仿真海冰RGB图像集；
步骤(3)：将初始仿真海冰图像矢量化，形成N个初始化矢量数据；
步骤(4)：利用步骤(3)矢量数据作为生成网络初始输入。同时初始化生成网络和判别网络权重参数；
步骤(5)：利用N幅实际海冰遥感图像训练分形深度卷积生成对抗网络；
步骤(6)：通过步骤(1)～步骤(3)重新生成矢量数据，将其输入步骤(5)所训练完成的分形深度卷积生成对抗网络，则可生成更高质量的仿真海冰遥感图像。
考虑了海冰分布的分形特点，并利用步骤(1)中采用了Diamond-Square算法产生海冰场景地形。使用Diamond-Square算法的分形方法生成仿真的海冰地形矩阵，计算正方形基平面中心处高度：
其中HC是正方形基平面中心出的高度值；H00、H01、H11、H10分别为基平面四个角点处的高度值；D0是中心点出的随机偏移量，是一个均值为0，方差为σ2的高斯随机变量；D0为满足高斯分布的随机变量，其概率密度函数为f(x)，通常情况下，可设定均值μ∈[0,100]，方差σ∈[0,1]。
步骤(3)中矢量化方法，是将每幅K×K×3的仿真RGB图像先按从R、G、B三个band矩阵先后顺序排列，随后对每个band矩阵从左上角像素进行Z字形扫描所有像素值，并依次排列形成矢量。
利用步骤(1)～步骤(3)改进了传统深度卷积生成对抗网络的初始输入，替换了原始算法中生成网络初始化采用1×100随机向量的输入方式。

Claims (3)

1.一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，其特征在于，包括以下步骤：
步骤(1)：收集N幅实际海冰遥感图像，利用分形方法生成N个K×K的海冰场景高程矩阵；
步骤(2)：依据每个高程矩阵和海冰色带，按步骤(1)生成的海冰场景高程矩阵逐一索引生成初始仿真海冰RGB图像集；
步骤(3)：将步骤(2)生成的初始仿真海冰RGB图像矢量化，形成N个初始化矢量数据；
步骤(4)：利用步骤(3)形成的矢量数据作为生成网络初始输入，同时初始化生成网络和判别网络权重参数；
步骤(5)：利用N幅实际海冰遥感图像训练分形深度卷积生成对抗网络；
步骤(6)：通过步骤(1)～步骤(3)重新生成矢量数据，将重新生成矢量数据输入步骤(5)所训练完成的分形深度卷积生成对抗网络。
2.根据权利要求1所述的一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，其特征在于：步骤(1)中所述分形方法使用菱形-正方形算法生成N个K×K的海冰场景高程矩阵，计算正方形基平面中心处高度满足：
其中HC是正方形基平面中心出的高度值；H00、H01、H11、H10分别为基平面四个角点处的高度值；D0是中心点处的随机偏移量，D0为满足高斯分布的随机变量，D0的概率密度函数为f(x)，满足：
其中，均值μ∈[0,100]，方差σ∈[0,1]。
3.根据权利要求1所述的一种基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法，其特征在于：步骤(3)中所述矢量化是将每幅K×K×3的仿真RGB图像先按从R、G、B三个矩阵先后顺序排列，随后对每个矩阵从左上角像素进行Z字形扫描所有像素值，并依次排列形成矢量。
CN201811248556.7A 2018-10-25 2018-10-25 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法 Active CN109360231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811248556.7A CN109360231B (zh) 2018-10-25 2018-10-25 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811248556.7A CN109360231B (zh) 2018-10-25 2018-10-25 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法

Publications (2)

Publication Number Publication Date
CN109360231A true CN109360231A (zh) 2019-02-19
CN109360231B CN109360231B (zh) 2022-01-07

Family

ID=65346507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811248556.7A Active CN109360231B (zh) 2018-10-25 2018-10-25 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法

Country Status (1)

Country Link
CN (1) CN109360231B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998663A (zh) * 2019-11-22 2020-04-10 驭势（上海）汽车科技有限公司 一种仿真场景的图像生成方法、电子设备和存储介质
CN111210483A (zh) * 2019-12-23 2020-05-29 中国人民解放军空军研究院战场环境研究所 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法
CN111581884A (zh) * 2020-05-11 2020-08-25 上海无线电设备研究所 一种星载多分辨率目标光学辐射图像仿真方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095581A (zh) * 2015-07-22 2015-11-25 华南理工大学 一种铸造缩孔缺陷图像生成方法
CN106872978A (zh) * 2017-01-16 2017-06-20 西北工业大学 一种复杂场景的电磁建模仿真方法
CN107563355A (zh) * 2017-09-28 2018-01-09 哈尔滨工程大学 基于生成对抗网络的高光谱异常检测方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108510562A (zh) * 2018-02-11 2018-09-07 青岛九维华盾科技研究院有限公司 基于图像分形纹理的数码迷彩图案生成方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095581A (zh) * 2015-07-22 2015-11-25 华南理工大学 一种铸造缩孔缺陷图像生成方法
CN106872978A (zh) * 2017-01-16 2017-06-20 西北工业大学 一种复杂场景的电磁建模仿真方法
CN107563355A (zh) * 2017-09-28 2018-01-09 哈尔滨工程大学 基于生成对抗网络的高光谱异常检测方法
CN107944370A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于dccgan模型的极化sar图像分类方法
CN108495110A (zh) * 2018-01-19 2018-09-04 天津大学 一种基于生成式对抗网络的虚拟视点图像生成方法
CN108510562A (zh) * 2018-02-11 2018-09-07 青岛九维华盾科技研究院有限公司 基于图像分形纹理的数码迷彩图案生成方法
CN108596024A (zh) * 2018-03-13 2018-09-28 杭州电子科技大学 一种基于人脸结构信息的肖像生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUO JIANWEI等: "An Image Compression Method of Fractal Based on GSOFM Network", 《2008 CONGRESS ON IMAGE AND SIGNAL PROCESSING》 *
王岩等: "用随机分形实现遥感影像的立体造型", 《遥感技术与应用》 *
花文波等: "飞行对抗场景中云红外图像仿真研究", 《科学技术与工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998663A (zh) * 2019-11-22 2020-04-10 驭势（上海）汽车科技有限公司 一种仿真场景的图像生成方法、电子设备和存储介质
CN110998663B (zh) * 2019-11-22 2023-12-01 驭势（上海）汽车科技有限公司 一种仿真场景的图像生成方法、电子设备和存储介质
CN111210483A (zh) * 2019-12-23 2020-05-29 中国人民解放军空军研究院战场环境研究所 基于生成对抗网络和数值模式产品的仿真卫星云图生成方法
CN111581884A (zh) * 2020-05-11 2020-08-25 上海无线电设备研究所 一种星载多分辨率目标光学辐射图像仿真方法

Also Published As

Publication number Publication date
CN109360231B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN110619282B (zh) 一种无人机正射影像建筑物自动提取方法
CN104392486B (zh) 一种点云场景重建方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN109360231A (zh) 基于分形深度卷积生成对抗网络的海冰遥感图像仿真方法
CN107392925A (zh) 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN110119780A (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Zheng et al. Large-scale oil palm tree detection from high-resolution remote sensing images using faster-rcnn
CN103413142B (zh) 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法
CN106056591A (zh) 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN108416783A (zh) 基于全卷积神经网路的道路场景分割方法
CN108648271A (zh) 一种基于gis数据生成复杂地形网格模型的插值方法
CN110163213A (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN106557579A (zh) 一种基于卷积神经网络的车辆型号检索系统及方法
CN110335350A (zh) 基于地形特征的虚拟地形生成方法
CN111754618B (zh) 一种面向对象的实景三维模型多层次解译方法及系统
CN108416392A (zh) 基于som神经网络的建筑物聚类方法
CN103065361A (zh) 三维海岛沙盘实现方法
CN111259950B (zh) 一种基于3d模型训练yolo神经网络的方法
CN104751111A (zh) 识别视频中人体行为的方法和系统
CN104835196A (zh) 一种车载红外图像彩色化三维重建方法
CN109359533A (zh) 一种基于多波段遥感影像的海岸线提取方法
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN108510562A (zh) 基于图像分形纹理的数码迷彩图案生成方法
CN111599007B (zh) 一种基于无人机航拍的智慧城市cim道路贴图方法
CN115471634B (zh) 一种城市绿植孪生的建模方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant