CN113487493A - 基于GANilla的SAR图像自动彩色化方法 - Google Patents
基于GANilla的SAR图像自动彩色化方法 Download PDFInfo
- Publication number
- CN113487493A CN113487493A CN202110612704.4A CN202110612704A CN113487493A CN 113487493 A CN113487493 A CN 113487493A CN 202110612704 A CN202110612704 A CN 202110612704A CN 113487493 A CN113487493 A CN 113487493A
- Authority
- CN
- China
- Prior art keywords
- data
- sentinel
- data set
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013508 migration Methods 0.000 claims abstract description 16
- 230000005012 migration Effects 0.000 claims abstract description 16
- 239000003086 colorant Substances 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 230000003321 amplification Effects 0.000 claims abstract description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 230000007306 turnover Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000011160 research Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 12
- 238000004040 coloring Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 241000251468 Actinopterygii Species 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
基于GANilla的SAR图像自动彩色化方法，涉及卫星图像处理。数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取Sentinel‑1中的VV波段和Sentinel‑2的B4,B3,B2波段作为RGB值，基于python将JSON格式的数据可视化，得色彩迁移数据集；将得到的数据分两类，陆地区域的数据和海洋区域的数据；对于陆地区域的数据通过旋转、局部放大、翻转进行数据增加；对于海洋区域的数据，分别进行维纳滤波和添加随机色彩；数据增加后的Sentinel数据用GANilla网络进行训练。免去搭建网络的复杂工作，提升数据配对速度，降低数据获取难度，大幅提升遥感图像质量。
Description
技术领域
本发明涉及卫星图像处理领域，尤其是涉及一种基于GANilla的SAR图像自动彩色化方法。
背景技术
海丝一号卫星拍摄的基于主动微波成像机理的合成孔径雷达(SyntheticAperture Radar，SAR)影像具有全天时、全天候、不受恶劣天气影响的观测特点。SAR影像具有灰度和纹理特性，对于不同地物所呈现的SAR图像纹理不同，因此可以利用SAR图像由地物之间的灰度和纹理特征差异实现目标检测。此外，SAR卫星的观测穿透性能较好，可以穿透云层，发现隐藏的目标信息，区分伪目标，并对动态目标具有一定的显示能力，在空间对地观测和军事侦察等方面具有独特优势。SAR遥感影像已成为观测海洋与陆地的重要数据。并且广泛应用于军事目标检测、战场调度等军事目标领域以及地形测绘、灾害检测等民用领域。
与常见的光学成像原理不同，SAR图像中的灰度级对应的是不同材料不同结构的物体对微波的电磁散射强度，没有直接的颜色信息，导致形成的图像层次性较差，一些细节的纹理层次难以获取。实现SAR图像目标检测的效率远远低于光学影像目标检测的效率。SAR接受的电磁回波往往存在一定的相干性和随机性，因此SAR成像会存在一定的相干性噪声，例如在图像上形成大量的噪点，这将导致图像的判读性大大下降。SAR存在一定的方向敏感性，即拍摄的角度及高度都会严重影响图像的成像特点，成像特点的不同带给计算机视觉系统的识别难度是指数级增加的。对于遥感科学的研究而言，SAR图像的理解和解译具有较高的难度，深入探寻其图像特征需要消耗较多的人力物力。
尽管SAR图像中包含每个像素点的地理坐标信息，但是由于光学影像的地理坐标定位往往误差较大，单纯依靠下载遥感影像后进行地理配准，仍然会存在一定的地理坐标误差,为数据集的匹配校准增添难度。此外，由于SAR影像存在几何失真和相干性干扰，光学影像存在视角误差以及光线误差且易受到云层干扰。对于数据的前处理，得到高质量的数据集往往是一项巨大的工程。当下的图像匹配往往依赖于选择成像良好的特征图像用于候选，并根据成像分布建立位点间的对应关系，需要大量的人工干预。2020年Lloyd等人提出采用优度网络(Goodness Network)、多尺度匹配网络(Multi-scale Matching Network)、离群值减少网络(Outlier Reduction Network)三个神经网络的框架进行数据融合比对，提升数据集的配对速率,但是最终对应集的质量仍然收到优度网络和离群值减少网络的限制。孙潇，徐金东提出一种基于级联生成对抗网络的遥感图像去雾方法，包括去雾分布的UGAN和学习去雾的PAGAN，对遥感图像的数据质量进行提升，但是去雾网络的搭建需要大量相应数据进行学习，并且常常在去雾的同时去除其余有效信息。
在深度学习的研究中，提升SAR图像的可解释性和信息翻译能力一直是学者们研究的热点。其中，最直观的想法就是利用真实的数据集给SAR图像进行迁移上色，达到SAR图像彩色化的效果。相较于传统的光学影像，SAR的彩色化图像将同时兼具SAR图像和光学影像的优点，即图像易于获取、不受气候等环境条件影响并且拥有丰富的色彩信息，便于进行高精度的资源勘探和灾害检测。
Google Earth Engine(GEE,https://earthengine.google.com/)是谷歌于2018年开放注册的为地理科学学科设立的平台。注册会员可以通过GEE内部的数据库使用JavaScript进行编译等操作，并且GEE提供较好的可视化平台，具有很好的交互性。GEE提供全球尺度内Sentinel-1(https://developers.google.com/earth-engine/datasets/catalog/COPERNICU S_S1_GRD)和Sentinel-2(https://developers.google.com/earth-engine/datasets/catalog/COPERNICUS_S2_SR)的数据集，
发明内容
本发明的目的在于针对现有技术存在的上述缺点，提供免去搭建网络的复杂工作，提升数据配对速度，降低数据获取难度，并可大幅提升遥感图像的质量的一种基于GANilla的SAR图像自动彩色化方法。
本发明包括以下步骤：
1)数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取哨兵一号(Sentinel-1)中的VV波段和哨兵二号(Sentinel-2)的B4,B3,B2波段作为RGB值，对导出的JSON格式的数据进行数据降维，使用python的CV2库将JSON格式的数据可视化，得到配对色彩迁移数据集，包括VV波段数据集和伪RGB数据集；
2)数据增加预处理：将步骤1)得到的色彩迁移数据集的数据分为两类，陆地区域的数据和海洋区域的数据；对于陆地区域的数据通过旋转、局部放大、翻转进行数据增加处理；对于海洋区域的数据，分别进行维纳滤波和添加随机色彩；
3)网络搭建：将步骤2)数据增加后的Sentinel数据，选取GANilla网络进行训练。
在步骤1)中，所述数据集配对的具体方法可为：使用JavaScript选定数据集的时间和空间尺度。为消除不同时间光照等条件不同的影响，使用2017-2019年度所有Sentinel-1和Sentinel-2的数据进行均值化操作；为配对相同位置的数据集，在地图上随机生成位点(包括海洋和陆地的数据)，并将选择的位点扩充为256*256的矩阵作为选择区域。为减少云和海浪的影响，增强数据集的质量，在生成随机矩阵的算法中加入云量和海浪的限制，使得选取位点出现干扰因素的概率小于8％。最后，在生成的地理区位内，提取Sentinel-1中的VV波段作为灰度数据集，Sentinel-2的B4,B3,B2波段作为RGB彩色数据集，并导出JSON格式。对JSON格式的数据进行数据降维等操作，使用CV库将JSON格式的数据可视化，得到尺寸为256×256大小的色彩迁移数据集，包括VV波段数据集和伪RGB数据集；所述位点包括海洋和陆地的数据。
在步骤2)中，所述陆地区域的RGB数据，轮廓特征较为明显，并且具有丰富的色彩。通过除云的操作后数据集具有较高的质量。因此，可以用此类高质量的数据集通过旋转、局部放大、翻转等操作，充分利用其图像特征，获取更多的数据集，从而提升模型的泛化能力；
所述海洋区域的数据，由于其受到海洋湍流影响，轮廓特征较不明显且色彩较为单一，数据质量较差将会对模型性能造成极大的影响，因此，对于海洋区域的数据进行两种操作，分别是进行维纳滤波消除湍流影响，减小偶然干扰的影响；添加随机色彩，使得模型具有更好的泛化能力；
所述进行维纳滤波，以消除湍流影响的具体步骤为：
通过数学公式描述海洋湍流影响，并通过算法反演进行图像恢复。恢复过程的描述如下：
上述式子中，Q为常数，G为原始图像的傅里叶变换，T是湍流退化模型
G是恢复图像的傅里叶变换,u,v为像素的坐标，其余数字均为固定的比例系数。利用G中的傅里叶反变换可以得到湍流的恢复图像。本发明在实验中取湍流系数k＝0.0012，得到较好的恢复效果；
所述添加随机色彩，由于海洋区域色彩较为不明显，且特征较为一致，可能会使算法收敛速度过慢或者造成过拟合。因此，首先绘制出数据集中图像的色彩分布，筛选出色彩特征不明显的图像，为这些图像增加随机色彩。
在步骤3)中，所述选取GANilla网络进行训练的具体步骤可为：在下采样阶段，GANilla首先通过Resnet18模型提取图像的结构特征；在上采样阶段，GANilla采取长跳跃的连接方式(skip connections)，将低卷积层的特征送入到求和层，从而实现底层结构的保留。
在损失函数方面，Ganilla沿用cyclegan的损失函数即
相较于点对点的网络，Ganilla增加了循环一致性损失，对数据集做了近似，因此，GANilla可以不使用配对的数据集，同时保持较好的结构特征。
哨兵一号(Sentinel-1)和哨兵二号(Sentinel-2)是欧洲航天局哥白尼计划(GMES)中发射的地球观测卫星。二者均由两颗卫星组成。哨兵一号携带有C波段合成孔径雷达(SAR)，可以用于全天候影像的拍摄，拍摄周期为12天。哨兵二号则可以进行13个波段的多光谱影像拍摄，光谱范围包含可见光波段，可以用于地球表面的观测及自然灾害的监测,拍摄周期为5天。哨兵一号的成像原理与海丝一号相似，由于海丝一号当前拍摄数据较少，使用哨兵一号的SAR影像可以近似代替海丝一号的数据用作训练。哨兵二号的B2、B3、B4波段分别代表蓝光、绿光、红光波段，将这三个波段叠加，可以得到类似RGB成像原理的三波段彩色图像。使用哨兵一号和哨兵二号的数据进行配对，可以将成像规律迁移到海丝一号的成像上，通过深度学习网络的搭建，实现海丝一号SAR图像的上色效果。
与现有技术相比，本发明具有以下突出的优点：
1、提出一种基于GEE的快速数据配对方法，该数据集配对方式也可以进一步的应用，例如可以用该方法配对海洋遥感数据或者山林遥感数据，从而实现专有地物特征例如海漂垃圾、轮船、火迹地等的识别，相较于ENVI传统裁剪数据集的方式，大幅度降低数据获取的难度，为实现大规模的网络训练提供数据基础。
2、使用最新的网络架构，进行主客观结合的评价方法，事实证明将生成对抗网络应用于遥感科学的可行性。
3、本发明作为首个研究海丝一号的科研项目，考虑到未来还将进一步发射海丝二号、海丝三号等海丝系列卫星，形成海丝观测卫星星座。对于海丝一号卫星本身性质及其成像特点的进一步研究可以有力推动后续的遥感科学研究。海丝一号的拍摄精度较欧空局的Sentinel-1相比更高，且二者的拍摄角度和拍摄高度均略有差异，因此，拍摄的影像本身成像方式存在一定的差异。本发明在数据的预处理中进行一定的平滑性处理和光学分布调节，可以首先搭建由海丝一号映射到Sentinel-1的网络，再将Sentinel-2的光学色彩特征映射到海丝一号的影像上。搭建两次网络，将大幅度提升上色的准确性。
4、本发明提出基于Google Earth Engine的数据集匹配方法通过云量限制，光学特征均值化处理，免去搭建网络的复杂工作，大幅提升遥感图像的质量。通过JSON数据格式的降维及批处理导出方法，提升数据的配对速度，大幅度降低数据获取的难度。而足量的数据则为深度学习在SAR图像上的应用奠定基础。
5、本发明实现SAR图像的彩色化充分结合SAR图像和光学影像图像的优点，既能够实现全天向全气候的拍摄，也能够使得图像具有丰富的色彩信息从而更好的应用于后续的地块分割，地物识别等应用。并且，由于SAR图像的特殊性，可以通过彩色化的方法轻松获取不包含云即其他噪声的高质量数据，对于遥感方面的研究价值是极高的。
附图说明
图1为配对色彩迁移数据集。其中，a为VV波段数据集，b为伪RGB数据集。
图2为数据增强前后的陆地图像对比。其中，a为原图像，b为新生成的图像(旋转)。
图3为维纳滤波处理前后的图像对比。其中，a为滤波处理前，b为滤波处理后。
图4为图像增加随机色彩前后对比图。其中，a为原图像，b为加入随机色彩后。
图5为U-net网络结构示意图。
图6为本发明与其他方法生成图像效果比较图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明进行作进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
1训练数据
1.1数据集的配对
哨兵一号(Sentinel-1)和哨兵二号(Sentinel-2)是欧洲航天局哥白尼计划(GMES)中发射的地球观测卫星。二者均由两颗卫星组成。哨兵一号携带有C波段合成孔径雷达(SAR)，可以用于全天候影像的拍摄，拍摄周期为12天。哨兵二号则可以进行13个波段的多光谱影像拍摄，光谱范围包含可见光波段，可以用于地球表面的观测及自然灾害的监测,拍摄周期为5天。哨兵一号的成像原理与海丝一号相似，由于海丝一号当前拍摄数据较少，使用哨兵一号的SAR影像可以近似代替海丝一号的数据用作训练。哨兵二号的B2、B3、B4波段分别代表蓝光、绿光、红光波段，将这三个波段叠加，可以得到类似RGB成像原理的三波段彩色图像。使用哨兵一号和哨兵二号的数据进行配对，可以将成像规律迁移到海丝一号的成像上，通过深度学习网络的搭建，实现海丝一号SAR图像的上色效果。
对于Sentinel-1和Sentinel-2的数据配对，传统的方法需要登录欧空局的官网进行数据的下载。由于两颗卫星拍摄角度和拍摄周期不一致，需要首先找到拍摄时段一致的图像，由于两者的拍摄周期不统一，每60天才能找到拍摄时间相同的图像，加上受到云量等环境因素的干扰，可用的数据非常少。得到数据后需要使用ENVI等地理影像编辑软件进行裁剪去噪等操作配准数据，才能使得最终的数据适用于深度学习网络的搭建。
使用传统的方法存在两个问题：首先是下载图像过大，官网下载的数据单张图像过大，往往会占用几百G甚至好几个T的内存，给计算机的硬件带来负担。由于地理坐标等的不同，对下载的图像还需要进行坐标校准。其次是数据获取的操作繁冗复杂，为保证拍摄环境影响程度相同，需要选择拍摄时间较为接近并且云量较少的数据，这样将造成可供选择的数据大幅度减少。因此本发明探索出一种新的数据集配对方式，可以高效的配对出高质量的真实数据集。
Google Earth Engine(GEE,https://earthengine.google.com/)是谷歌于2018年开放注册的为地理科学学科设立的平台。注册会员可以通过GEE内部的数据库使用JavaScript进行编译等操作，并且GEE提供较好的可视化平台，具有很好的交互性。GEE提供全球尺度内Sentinel-1(https://developers.google.com/earth-engine/datasets/catalog/COPERNICU S_S1_GRD)和Sentinel-2(https://developers.google.com/earth-engine/datasets/catalog/COPERNICUS_S2_SR)的数据集，因此，本发明首先使用JavaScript选定数据集的时间和空间尺度。为消除不同时间光照等条件不同的影响，使用2017-2019年度所有Sentinel-1和Sentinel-2的数据进行均值化操作。为配对相同位置的数据集，本发明在地图上随机生成位点(包括海洋和陆地的数据)，并将选择的位点扩充为256*256的矩阵作为选择区域。为减少云和海浪的影响，增强数据集的质量，在生成随机矩阵的算法中加入云量和海浪的限制，使得选取位点出现干扰因素的概率小于8％。最后，在生成的地理区位内，分别提取Sentinel-1中的VV波段和Sentinel-2的B4,B3,B2波段作为RGB值，并导出JSON格式。对JSON格式的数据进行数据降维等操作，使用CV库将JSON格式的数据可视化，得到尺寸为256×256大小的配对色彩迁移数据集如图1所示。
1.2数据集的配对
对于上述处理得到的数据集，可以将数据分为两类，陆地区域的数据和海洋区域的数据。
对于陆地区域的数据而言，其轮廓特征较为明显，并且具有丰富的色彩。通过除云的操作后数据集具有较高的质量。因此，可以用此类高质量的数据集通过旋转、局部放大、翻转等操作，充分利用其图像特征，获取更多的数据集，从而提升模型的泛化能力，数据增强展示如图2所示。
对于海洋区域的数据而言，由于其受到海洋湍流影响，轮廓特征较不明显且色彩较为单一，数据质量较差将会对模型性能造成极大的影响，因此，对于海洋区域的数据进行两种操作，分别是进行维纳滤波消除湍流影响，减小偶然干扰的影响；添加随机色彩，使得模型具有更好的泛化能力。
1、维纳滤波
通过数学公式描述海洋湍流影响，并通过算法反演进行图像恢复。恢复过程的描述如下：
上述式子中，Q为常数，G为原始图像的傅里叶变换，T是湍流退化模型
G是恢复图像的傅里叶变换,u,v为像素的坐标，其余数字均为固定的比例系数。利用G中的傅里叶反变换可以得到湍流的恢复图像。本发明在实验中取湍流系数$k＝0.0012$，得到较好的恢复效果，如图3所示:
2、随机色彩
由于海洋区域色彩较为不明显，且特征较为一致，可能会使算法收敛速度过慢或者造成过拟合。因此，本发明首先绘制出数据集中图像的色彩分布，筛选出色彩特征不明显的图像，为这些图像增加随机色彩，效果如图4所示。
2网络搭建
2.1网络模型的选取
实现图像之间的色彩的迁移，可以增强图像的视觉效果，方便计算机系统识别辨认，具有重大的研究价值和意义，不少学者都对图像的彩色化方法进行研究。Reinhard等人提出一种图像色调的迁移算法，将目标图像和标签图像的颜色分布在lαβ颜色空间内进行映射，实现三通道均值方差的转化，达到色调迁移的效果；Welsh等人提出一种伪色彩方法，通过计算目标图像和参考图像的像素亮度值和其方差，并进行匹配，匹配完成后将参考图像的颜色传递给目标图像，实现伪色彩效果；也有不少学者将深度学习的方法应用到彩色化的研究中，例如Zhang等人首次将监督学习的方法引入彩色化研究，对给定的色彩分布，使用网络训练学习到其概率分布
的映射
同时使用多分类交叉熵作为损失函数，这种监督学习的方式使得彩色化的方式更接近真实值；而生成对抗网络(GAN)的自提出以来，由于其强大的图像生成与判别能力，也被广泛的应用于图像的彩色化研究，最为典型的网络当属CVPR2016中提出的pix2pix和CVPR2018提出的cyclegan,其中pix2pix可以实现有监督的图像到图像的翻译，而cyclegan在pix2pix的基础上进行改进，增添循环一致性损失函数(cycle consistency loss)，使得在缺少成对数据的情况下通过近似映射关系，也能够实现风格的转移。
GAN系的网络以其独有的网络结构和强大的图像生成能力，被广泛应用在图像的翻译上。因此，在本发明配对好Sentinel的数据后，选取三种GAN的网络变体(pix2pix、cyclegan、GANilla)进行训练，并将最终上色结果与传统的伪色彩方法进行比较。
2.2网络结构的介绍
上述提到的三种网络基本都是GAN的变体，GAN系的网络其特征主要在于包含生成器(G)和判别器(D),其中，生成器用于进行图像的随机生成，判别器用于判断生成图像的真实性。三个网络变体分别从损失函数，网络架构对原始的GAN进行优化，三者各有自己的优劣，在不同的数据集上可能会有不同的表现效果。以下给出三种网络结构:
1、pix2pix网络结构
pix2pix的网络结构对于给定生成器(G)的一个特定输入x和随机噪声z，G将会随机给出一个输出G(x,z)并传递给判别器D，D将会计算真实图像与生成图像之间的差异。pix2pix对CGAN的LOSS函数进行改进：
Loss(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))]
所以，最后的目标是最小化LOSS，即：
G＝argmin(G)max(D)LCGAN(G,D)+λLL1(G)
D每次会对G生成的图像进行评分，而G收到反馈后将迭代生成新的图像，尝试去最小化目标函数Loss，最终当Loss收敛的时候即认为模型的训练结束。
同时，为保证图像有较低的失真率，pix2pix在原有GAN的结构上进行改进。其中，生成器采用U-net网络结构。U-net最初主要是应用于医学影响的分割，与常规卷积编码的采样过程相比，U-net将Encoder过程中产生的feature map与Decoder过程中同一大小的feature map进行粘贴(concat),这样可以更好的保留不同卷积层中的像素细节信息，从而更好的保留图像的边缘结构特征。将U-net的网络结构用于生成器，可以更好地保留生成图像的边缘轮廓特征。
图5给出U-net网络结构示意图。
为使得算法迭代训练的过程更快，pix2pix提出PatchGAN的结构，其核心思想是判别器(D)不再对整幅图像的真实性进行判断，而是把整个图像分割成$N\times N$的碎片化的图像，对每一个碎块进行判别，最后取碎块结果的平均值作为输出，这种并行的做法大大提升计算机GPU的利用率，从而使得迭代的过程更快。对于256×256的输入，通过实验得到每个patch的大小在70×70的时候就能取得很好的效果，从视觉效果上看与不取patch的效果几乎无异。
2、cyclegan
相较于pix2pix，cyclegan除计算上述Loss，还增添一项循环性损失，试图保证生成的图像可以形成映射回源域，即取结构性的特征均值，从而无需配对成对的数据集，对于油画风格迁移这种数据集难以匹配的数据具有良好的适应性。
为实现cyclegan，需要定义两个生成器G,F，实现循环一致的关系，即：
F(G(x))≈x且G(F(y))≈y
则循环一致性的损失函数可以定义为：
加上GAN原有的损失函数，cyclegan的最终优化目标可以表述为：
上述式子中，由于cyclegan不要求使用成对的数据集，所以仅采用普通的GAN损失函数，而不是像pix2pix中采用cgan的损失函数，使用真实值进行限制。并且，由于具有两个生成器，cyclegan需要分别计算每个生成器的损失函数并加和。一般而言，由于采取近似的映射，cyclegan的最终效果相较于pix2pix往往会更加偏离真实值。因此cyclegan常常被应用于艺术画等不需要限定真实值的风格迁移。
3、GANilla
如前所述，尽管cyclegan实现没有配对数据集情况下的网络训练，但是容易造成训练结果与真实值偏差较大。CVPR2020中提出GANilla网络结构，在维持cyclegan中Loss前提的情况下，改进模型设计的细节，从而既实现图像的风格迁移，又实现图像结构特征的保留。
在下采样阶段，GANilla首先通过Resnet18模型提取图像的结构特征；在上采样阶段，GANilla采取长跳跃的连接方式(skip connections)，将低卷积层的特征送入到求和层，从而实现底层结构的保留。
在损失函数方面，Ganilla沿用cyclegan的损失函数即
因此，GANilla也无需使用配对的数据集。
本发明实施例依托所配对的数据进行分别进行pix2pix，cyclegan和GANilla三种模型的训练，随后将训练好的网络应用于海丝一号拍摄的SAR影像，并将上色效果与传统伪色彩的方式进行比对，并分别采用主观和客观的评价方式进行效果的比较。
使用pix2pix、cyclegan、Ganilla和伪色彩方法对输入图像进行上色得到结果如图4中的b图所示。
3评价
为评价模型结果的优劣程度，本发明选取主观和客观评价方式进行综合评价：
1、主观评价
人眼对于RGB通道图像的识别具有较高的敏感度，人眼对彩色图像的识别在准确度方面往往高于机器。因此，基于人眼对上色效果的主观评价，具有很高的参考价值。
在本次上色效果的评价中，聘请20位从事计算机视觉及遥感方面的专家，依次给50组上色的图像打分，评价标准如表1所示。
表1主观评价评分标准
2、客观评价
对于上色效果而言，大部分时候研究工作者需要结构特征明显且色彩较为鲜艳的图像，而不一定要求色彩分布与真实情况完全一致，因此，使用传统的MSE，RMSE指标计算生成图像和真实图像之间的差异往往不具有较好的效果。为此，本发明使用峰值信号比(PSNR)进行客观评价模型的效果。
PSNR是一种用于评价图像失真程度的指标，它是由最大可能像素值(fmax)和均方误差(MSE)的比值定义的，具体数学公式如下所示：
这里f为常数，本发明中取255，W,H分别为图像的长与宽。PSNR值越大，意味着图像的失真程度越小，生成图像的质量越高。本发明将用于专家评价的50组图像计算其客观指标，得到PSNR值，并随后将其归一化到[0,10],具体归一化公式如下所示：
3、加权求和得分将主观得分和客观得分分别求和后求均值，分别得到每种算法的得分Score1，Score2，随后加权求和得到最终的算法得分：
Score＝0.3·Score1+0.7·Score2
依据上述标准求得生成图像得分如表2所示。
表2生成图像得分表
从表2和图6可以看出，伪色彩结果较为单一，色调较为一致，得分较低；pix2pix生成的色彩较为丰富，但形状失真比较大，模型的泛化能力不强；cyclegan虽然拥有丰富的色彩，但形状特征失真更为明显；相比之下，本发明GANilla的轮廓特征保留更接近真实值，且色彩也较为一致，因此在本发明的数据集中，本发明基于GANilla在彩色化的效果最好。
实现SAR图像的彩色化充分结合SAR图像和光学影像图像的优点，既能够实现全天向全气候的拍摄，也能够使得图像具有丰富的色彩信息从而更好的应用于后续的地块分割，地物识别等应用。并且，由于SAR图像的特殊性，研究者可以通过彩色化的方法轻松获取不包含云即其他噪声的高质量数据，这对于遥感方面的研究价值是极高的。
Claims (5)
1.基于GANilla的SAR图像自动彩色化方法，其特征在于包括以下步骤：
1)数据集配对：在地图上随机生成位点，并将选择的位点扩充矩阵作为选择区域，分别提取哨兵一号(Sentinel-1)中的VV波段和哨兵二号(Sentinel-2)的B4,B3,B2波段作为RGB值，对导出的JSON格式的数据进行数据降维，使用python的CV2库将JSON格式的数据可视化，得到配对色彩迁移数据集，包括VV波段数据集和伪RGB数据集；
2)数据增加预处理：将步骤1)得到的色彩迁移数据集的数据分为两类，陆地区域的数据和海洋区域的数据；对于陆地区域的数据通过旋转、局部放大、翻转进行数据增加处理；对于海洋区域的数据，分别进行维纳滤波和添加随机色彩；
3)网络搭建：将步骤2)数据增加后的Sentinel数据，选取GANilla网络进行训练。
2.如权利要求1所述基于GANilla的SAR图像自动彩色化方法，其特征在于在步骤1)中，所述数据集配对的具体方法为：使用JavaScript选定数据集的时间和空间尺度；为消除不同时间光照等条件不同的影响，使用2017-2019年度所有Sentinel-1和Sentinel-2的数据进行均值化操作；为配对相同位置的数据集，在地图上随机生成位点，并将选择的位点扩充为256*256的矩阵作为选择区域；为减少云和海浪的影响，增强数据集的质量，在生成随机矩阵的算法中加入云量和海浪的限制，使得选取位点出现干扰因素的概率小于8％；最后，在生成的地理区位内，提取Sentinel-1中的VV波段作为灰度数据集，Sentinel-2的B4,B3,B2波段作为RGB彩色数据集，并导出JSON格式；对JSON格式的数据进行数据降维等操作，使用CV库将JSON格式的数据可视化，得到尺寸为256×256大小的色彩迁移数据集，包括VV波段数据集和伪RGB数据集；所述在地图上随机生成位点包括海洋和陆地的数据。
3.如权利要求1所述基于GANilla的SAR图像自动彩色化方法，其特征在于在步骤2)中，所述进行维纳滤波的具体步骤为：
通过数学公式描述海洋湍流影响，并通过算法反演进行图像恢复；恢复过程的描述如下：
上式中，Q为常数，G为原始图像的傅里叶变换，T是湍流退化模型
G是恢复图像的傅里叶变换,u,v为像素的坐标，其余数字均为固定的比例系数；利用G中的傅里叶反变换得到湍流的恢复图像；湍流系数k＝0.0012。
4.如权利要求1所述基于GANilla的SAR图像自动彩色化方法，其特征在于在步骤2)中，所述添加随机色彩，首先绘制出数据集中图像的色彩分布，筛选出色彩特征不明显的图像，为这些图像增加随机色彩。
5.如权利要求1所述基于GANilla的SAR图像自动彩色化方法，其特征在于在步骤3)中，所述选取GANilla网络进行训练的具体步骤为：在下采样阶段，GANilla首先通过Resnet18模型提取图像的结构特征；在上采样阶段，GANilla采取长跳跃的连接方式(skipconnections)，将低卷积层的特征送入到求和层，从而实现底层结构的保留；在损失函数方面，Ganilla采用cyclegan的损失函数即
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110612704.4A CN113487493B (zh) | 2021-06-02 | 2021-06-02 | 基于GANilla的SAR图像自动彩色化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110612704.4A CN113487493B (zh) | 2021-06-02 | 2021-06-02 | 基于GANilla的SAR图像自动彩色化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487493A true CN113487493A (zh) | 2021-10-08 |
| CN113487493B CN113487493B (zh) | 2023-08-18 |
Family
ID=77934020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110612704.4A Active CN113487493B (zh) | 2021-06-02 | 2021-06-02 | 基于GANilla的SAR图像自动彩色化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487493B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546351A (zh) * | 2022-12-02 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于卷积网络的合成孔径雷达图像着色方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012511A (zh) * | 2010-10-13 | 2011-04-13 | 武汉大学 | 基于单时相单极化高分辨率sar图像的二次成像方法 |
| CN106355625A (zh) * | 2016-08-31 | 2017-01-25 | 甘宗平 | 一种单极化sar假彩色影像生成方法 |
| CN107507251A (zh) * | 2017-07-19 | 2017-12-22 | 清华大学 | 一种双极化sar图像的伪彩色合成方法和装置 |
| CN110032963A (zh) * | 2019-04-04 | 2019-07-19 | 首都师范大学 | 互花米草新生斑块的动态监测方法 |
| CN110111294A (zh) * | 2018-01-30 | 2019-08-09 | 三亚中科遥感研究所 | 一种sar图像质量检测方法 |
| CN110675462A (zh) * | 2019-09-17 | 2020-01-10 | 天津大学 | 一种基于卷积神经网络的灰度图像彩色化方法 |
| CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
| WO2020242170A1 (en) * | 2019-05-28 | 2020-12-03 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
| CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
| CN112766155A (zh) * | 2021-01-19 | 2021-05-07 | 山东华宇航天空间技术有限公司 | 一种基于深度学习的海水养殖区提取方法 |
-
2021
- 2021-06-02 CN CN202110612704.4A patent/CN113487493B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012511A (zh) * | 2010-10-13 | 2011-04-13 | 武汉大学 | 基于单时相单极化高分辨率sar图像的二次成像方法 |
| CN106355625A (zh) * | 2016-08-31 | 2017-01-25 | 甘宗平 | 一种单极化sar假彩色影像生成方法 |
| CN107507251A (zh) * | 2017-07-19 | 2017-12-22 | 清华大学 | 一种双极化sar图像的伪彩色合成方法和装置 |
| CN110111294A (zh) * | 2018-01-30 | 2019-08-09 | 三亚中科遥感研究所 | 一种sar图像质量检测方法 |
| CN110032963A (zh) * | 2019-04-04 | 2019-07-19 | 首都师范大学 | 互花米草新生斑块的动态监测方法 |
| WO2020242170A1 (en) * | 2019-05-28 | 2020-12-03 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
| CN110675462A (zh) * | 2019-09-17 | 2020-01-10 | 天津大学 | 一种基于卷积神经网络的灰度图像彩色化方法 |
| CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
| CN112766155A (zh) * | 2021-01-19 | 2021-05-07 | 山东华宇航天空间技术有限公司 | 一种基于深度学习的海水养殖区提取方法 |
| CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 廖蕊: ""基于生成对抗网络的"中间态"研究"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, vol. 138, no. 2021 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546351A (zh) * | 2022-12-02 | 2022-12-30 | 耕宇牧星(北京)空间科技有限公司 | 一种基于卷积网络的合成孔径雷达图像着色方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487493B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN109272455B (zh) | 基于弱监督生成对抗网络的图像去雾方法 | |
| CN110349117B (zh) | 一种红外图像与可见光图像融合方法、装置及存储介质 | |
| CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN112307901A (zh) | 一种面向滑坡检测的sar与光学影像融合方法及系统 | |
| CN105139396B (zh) | 一种全自动遥感影像云雾检测方法 | |
| Kang et al. | Fog model-based hyperspectral image defogging | |
| Poterek et al. | Deep learning for automatic colorization of legacy grayscale aerial photographs | |
| CN115457396B (zh) | 一种基于遥感影像的地表目标地物检测方法 | |
| Zhang et al. | Preprocessing and fusion analysis of GF-2 satellite Remote-sensed spatial data | |
| CN112750091A (zh) | 一种高光谱图像解混方法 | |
| CN111008664A (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| Mamatov et al. | Methods for improving contrast of agricultural images | |
| CN113487493B (zh) | 基于GANilla的SAR图像自动彩色化方法 | |
| Zhao et al. | Infrared and visible image fusion method based on rolling guidance filter and NSST | |
| CN111460943A (zh) | 一种遥感影像地物分类方法及系统 | |
| CN116703744A (zh) | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 | |
| CN113436110B (zh) | 一种对合成孔径雷达灰度图像进行伪彩色处理的方法 | |
| Huang et al. | Research on crop planting area classification from remote sensing image based on deep learning | |
| Ying et al. | Region-aware RGB and near-infrared image fusion | |
| CN115082344A (zh) | 基于细节注入的双分支网络全色锐化方法 | |
| CN110322454B (zh) | 一种基于光谱差异最大化的高分辨遥感图像多尺度分割优化方法 | |
| Fan et al. | An improved Deeplab based model for extracting cultivated land information from high definition remote sensing images | |
| Fu et al. | Super-Resolution Reconstruction of Remote Sensing Images Using Generative Adversarial Network With Shallow Information Enhancement | |
| Kala et al. | An algorithm for generating natural color images from false color using spectral transformation technique with higher polynomial order |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |