CN110807734A - 一种sar图像超分辨率重建方法 - Google Patents
一种sar图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110807734A CN110807734A CN201911047882.6A CN201911047882A CN110807734A CN 110807734 A CN110807734 A CN 110807734A CN 201911047882 A CN201911047882 A CN 201911047882A CN 110807734 A CN110807734 A CN 110807734A
- Authority
- CN
- China
- Prior art keywords
- sar image
- resolution
- image
- data set
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 38
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 32
- 230000004913 activation Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供一种SAR图像超分辨率重建方法，该方法包括：对SAR图像预处理，通过裁剪制作标签集、利用双三次样条对图像进行降采样并裁剪分别获得训练数据集和测试数据集，然后基于CNN构建SAR图像超分辨率重建模型，使用标签集、训练数据集和测试数据集对重建模型进行训练，将低分辨率SAR图像输入训练后的重建模型，得到高分辨率SAR图像，通过本发明，利用卷积神经网络将低分辨图像得到高分辨率图像，提高使用性，重建后的图像在清晰度以及解译能力上均有很大程度的提高，对提高低分辨率图像的内容解译能力具有重要意义。
Description
技术领域
本发明涉及合成孔径雷达图像超分辨率处理技术领域，具体涉及一种SAR图像超分辨率重建方法。
背景技术
SAR是一种主动微波遥感技术，利用自身向地表发射电磁波，根据电磁波的后向散射信息成像。通常见到的SAR图像为经过一定变换多得到的幅度图像，每个像素的灰度值反映的是成像单元采集的回波的振幅信息。然而SAR的缺点来自于独特的成像原理，众所周知，SAR成像幅宽越大，空间分辨率越低，因此星载SAR在对地观测过程中，大多数工作模式下的空间分辨率都较低。并且由于电磁波回波相位不同，会产生相干现象，在SAR图像中表现为斑点噪声。在低分辨率SAR图像中，相干斑噪声会严重影响对图像内容的解译。高分辨率SAR图像中即使有相干斑噪声存在，对图像中内容的解译不会造成太大影响，但是高分辨SAR图像其成像幅宽通常较低，不具备广域观测的能力。因此，提出一种能将低分辨率SAR图像通过重建获得高分辨率SAR图像的技术对于提高低分辨率SAR图像的内容解译能力具有重要的意义。
目前，针对利用图像处理手段提高SAR图像分辨率的技术，国内外学者已做出一些研究，但大多数为普通插值法(如线性插值、样条插值等)，其最终结果只是将像素数目提升，并未对地物的特征进行增强，因此解译能力并未增强。
近年来，深度学习在各个领域取得了优秀的成果，其优秀的特征提取能力使得其在图像处理领域广受欢迎，但是如何利用卷积神经网络将低分辨率SAR图像重建为高分辨率SAR图像的问题还有待解决。
因此，需要提供一种针对上述现有技术不足的改进技术方案。
发明内容
本发明的目的是将低分辨率SAR图像获得高分辨率SAR图像，提高其使用性，重建后的SAR图像在清晰度以及解译能力上均有很大程度的提高。为了实现上述目的，本发明提供如下技术方案：
本发明提供一种SAR图像超分辨率重建方法，所述重建方法包括以下步骤：
步骤S1，SAR图像预处理；
步骤S2，对所述步骤S1中的SAR图像制作标签集、训练数据集和测试数据集；
步骤S3，基于CNN构建一种SAR图像超分辨率重建模型，使用所述步骤S2中的所述标签集、所述训练数据集、所述测试数据集训练所述重建模型，所述重建模型具体为：
步骤S301，多尺度特征图提取层，设置Cov1_16、Cov3_16、Cov5_16、Cov9_16四种尺寸共64个卷积核以及64个PReLU激活函数，输出64个特征图；
步骤S302，特征图收缩层，将所述步骤S301中64个特征图收缩，输出32个特征图；
步骤S303，基于密度残差概念的特征映射层；根据ResNet与DensNet的思想，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出；
步骤S304，特征扩充层，使用Cov1_64与64个PReLU激活函数，将输出特征图扩充为64个；
步骤S305，反卷积层；利用反卷积函数将输入进来的64个特征图重建为一幅高分辨率图像，出一幅高分辨率图像；
步骤S306，计算误差层，使用EuclideanLoss函数，通过计算本模型重建得到的高分辨率图像与所述步骤S2中的所述标签集中的图像之间的欧式距离得到，并反馈网络进行修正；
步骤S4，将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S1具体包括以下步骤：
步骤S101，对SAR图像多视处理；
步骤S102，根据地理信息对所述步骤S101中的SAR图像进行地理编码；
步骤S103，使用精致lee滤波对相干斑噪声抑制。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S2具体包括：
步骤S201，对经过预处理的所述SAR图像以固定大小进行裁剪，将得到的图像切片组成标签集；
步骤S202，通过双三次样条差值对原始SAR图像进行将采样获得低分辨SAR图像，并裁剪与所述标签集对应位置的图像切片，组成所述训练数据集和所述测试数据集；
在制作所述训练数据集时，记录数据集中的每个图像切片的第一个像素行列坐标分别为x、y，通过下列公式得到在原始高分辨率SAR图像中对应标签集中的图像坐标位置的起始坐标locx、locy；
式中，scale为降采样倍数的倒数，为向下取整数，si表示训练图片的大小，sl表示标签集中的图像的大小。
依据上述的SAR图像超分辨率重建方法，作为优选，所述测试数据集与所述标签集和所述训练数据集的数据源不同。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S302特征图收缩层，将所述步骤S301中64个特征图收缩，输出32个特征图，具体为：
将上层中Cov1_16与Cov9_16提取出来的32个特征图通过Cov1_16与16个PReLU激活函数融合收缩为16个特征图；将上层中Cov3_16与Cov5_16提取出来的32个特征图通过Cov1_16与16个PReLU融合收缩为16个特征图，共计输出32个特征图。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S303基于密度残差概念的特征映射层，经过激活函数计算后的结构作为残差块的输出，具体为：
根据ResNet与DensNet的思想，防止梯度消失，本层设置3个残差块，每个残差块中包含两个Con3_32，在每个残差块中，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出；输入到残差块的数据将会与残差块输出的结果相加作为下一个残差块的输入数据，并且每个残差块的输出结果都会与前面所有残差块输出结果相加输入到下一个残差块。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S3中使用所述步骤S2中的所述标签集、所述训练数据集、所述测试数据集训练所述重建模型，具体训练步骤为：
步骤S31，设置训练次数；
步骤S32，设置每次训练次数，进行一次测试；
步骤S33，设置基础学习率；
步骤S34，开始训练，完成训练次数；
步骤S35，保存模型参数。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S4将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像具体包括以下步骤：
步骤S401，选择低分辨率SAR图像，进行预处理；
步骤S402，加载所述步骤S3经过训练后的模型参数；
步骤S403，将SAR图像输入到所述重建模型中；
步骤S404，经过处理得到高分辨率SAR图像。
依据上述的SAR图像超分辨率重建方法，作为优选，所述步骤S403，将SAR图像输入到所述重建模型中，具体处理过程为：
首先，提取特征图并保持特征图尺寸与原始图像尺寸相同；
其次，将特征图输入到PReLU激活函数，输出作为本层的输出结果；
最后，经过特征收缩层、特征映射层、特征扩充层以及图像重建层，得到一幅高分辨率SAR图像。
与最接近的现有技术相比，本发明提供的技术方案具有如下优异效果：
本发明提供一种SAR图像超分辨率重建方法，该方法包括多个步骤：SAR图像预处理，对SAR图像制作标签集、训练数据集和测试数据集，裁剪SAR图像制作标签集，利用双三次样条对图像进行降采样并裁剪获取训练数据集和测试数据集，构建并训练基于CNN的SAR图像超分辨率重建模型，将低分辨率SAR图像输入该模型中得到高分辨率SAR图像。通过本发明，能够利用卷积神经网络将低分辨率SAR图像获得高分辨率SAR图像，提高实用性，对于提高低分辨率SAR图像的内容解译能力具有重要的意义。
附图说明
图1为本发明实施中SAR图像超分辨率重建方法整体流程示意图；
图2为本发明实施例中的SAR图像超分辨率重建模型结构示意图；
图3为本发明实施例中的特征映射层结构示意图；
图4为本发明实施例中的SAR图像预处理具体流程示意图；
图5为本发明实施例中的SAR图像数据集采集具体流程示意图；
图6为本发明实施例中的超分辨率重建模型具体训练流程示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1-图6所示，本发明提供一种SAR图像超分辨率重建方法，该方法具体包括以下步骤：
步骤S1，SAR图像预处理；
步骤S2，对SAR图像制作标签集、训练数据集和测试数据集；
步骤S3，基于CNN构建一种SAR图像超分辨率重建模型，使用步骤S2中的标签集、训练数据集、测试数据集训练重建模型，重建模型具体步骤为：
步骤S301，多尺度特征图提取层，设置Cov1_16、Cov3_16、Cov5_16、Cov9_16四种尺寸共64个卷积核以及64个PReLU激活函数，输出64个特征图；
步骤S302，特征图收缩层，将所述步骤S301中64个特征图收缩，输出32个特征图；
步骤S303，基于密度残差概念的特征映射层；根据ResNet与DensNet的思想，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出；
步骤S304，特征扩充层，使用Cov1_64与64个PReLU激活函数，将输出特征图扩充为64个；
步骤S305，反卷积层；利用反卷积函数将输入进来的64个特征图重建为一幅高分辨率图像，出一幅高分辨率图像；
步骤S306，计算误差层，使用EuclideanLoss函数，通过计算本模型重建得到的高分辨率图像与标签集中的图像之间的欧式距离得到，并反馈网络进行修正；
步骤S4，将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像。
本发明通过对SAR图像预处理，对SAR图像制作标签集、训练数据集和测试数据集，裁剪SAR图像制作标签集，然后利用双三次样条对图像进行降采样并裁剪，裁剪后的图像分为两部分，分别获取训练数据集和测试数据集，构建并训练基于CNN的SAR图像超分辨率重建模型，将低分辨率SAR图像输入该模型中得到高分辨率SAR图像；利用卷积神经网络将低分辨率SAR图像获得高分辨率SAR图像，提供实用性。
简单来说，超分辨率重建网络的训练分两步进行，第一步是用的训练数据集和标签集训练网络权重，第二步是用测试数据集测试损失与优化权重；训练数据集为低分辨率图像，标签集为高分辨率图像，利用超分辨率重建网络模型将训练数据集重建至高分辨率图像后，再与对应标签集对比，进行误差计算，标签集为原始的高分辨率图像，标签集用于计算经重建网络模型得到的高分辨率图像与原始高分辨率图像之间的误差；为更好的理解本发明，接下来用实施例对本发明做进一步的说明。
实施例1
步骤S1，SAR图像预处理；
具体而言，如图4所示，首先对L1级单视复数SAR数据进行多视处理，方位向和距离向多视都设置为10，然后根据地理信息，对经过多视处理后的SAR图像进行地理编码，最后采用精致Lee滤波对SAR图像中相干斑噪声进行处理，这里所指的SAR图像是从卫星上获取的原始SAR图像，本发明实施例中对于原始SAR图像的分辨率没有特定要求。
步骤S2，对SAR图像制作标签集、训练数据集和测试数据集；
以国产高三分卫星超精细条带(UFS)3米分辨率模式下拍摄的SAR图像作为高分辨率SAR图像的数据源，或者以滑动聚束(SL)1米分辨率模式下拍摄的SAR图像作为高分辨率SAR图像的数据源。本发明实施例中以国产高三分卫星超精细条带(UFS)3米分辨率模式下拍摄的SAR图像作为高分辨率SAR图像的数据源，利用数据源制作标签集、训练数据集和测试数据集。如图5所示，对SAR图像制作标签集、训练数据集和测试数据集具体步骤如下：
步骤S201，假定低分辨率SAR图像是由高分辨率SAR图像经过降采样得到的，首先对原始高分辨率图像利用双三样条进行下1/3倍的将采样，设置大小为11×11的滑窗，步长为3，对低分辨率SAR图像截取图像切片，将所有切片保存为训练数据集。
步骤S202，在制作训练数据集的同时，记录数据集中的每个图像切片的第一个像素行列坐标分别为x、y。通过公式(1)和公式(2)得到在原始高分辨率SAR图像中对应标签集中的图像坐标位置的起始坐标locx、locy，公式(1)和公式(2)如下所示：
式中，scale为降采样倍数的倒数；
为向下取整数；si表示训练图片的大小；sl表示标签集中的图像的大小；本发明实施例中scale为3，si为11。
步骤S203，取不同的数据源制作测试数据集，测试数据集的数据源和标签集与训练数据集的数据源不同，不同的数据源来源于不同的高分辨率SAR图像，可以任意选取两幅高分辨率SAR图像，也可以选取多幅高分辨率SAR图像，本发明实施例中选取两幅高分辨率SAR图像，分别按照步骤S201和步骤S202制作标签集和训练数据集。
步骤S3，基于CNN构建一种SAR图像超分辨率重建模型，使用步骤S2所制作的数据集对该模型进行训练；
如图2所示，基于CNN构建一种SAR图像超分辨率重建模型，该重建模型的训练步骤具体包括：
步骤S301，多尺度特征提取层，Cov1_16表示卷积核尺寸为1，数目为16个，该部分通过设置Cov1_16、Cov3_16、Cov5_16、Cov9_16四种尺寸共64个卷积核以及64个PReLU激活函数，padding分别为0、1、2、4，步长全部为1，提取多尺度特征图。该层共计输出64个特征图，尺寸为11x11。
步骤S302，特征收缩层，将步骤S301中的Cov1_16与Cov9_16提取出来的32个特征图通过Cov1_16与16个PReLU激活函数融合收缩为16个特征图。将上层中的Cov3_16与Cov5_16提取出来的32个特征图通过Cov1_16与16个PReLU融合收缩为16个特征图。本层中Cov1_16的步长均为1，padding均为0，经过收缩后，该层共计输出32个特征图，输出尺寸为11×11。
步骤S303，特征映射层，如图3所示，该层用于提取图像深度特征，根据ResNet与DensNet的思想，防止梯梯度消失，本层设置3个残差块，每个残差块中包括两个Con3_32，在每个残差块中，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出，输入到残差块的数据将会与残差输出的结果相加作为下一个残差块的输入数据，并且每个残差块的输出结果都会与前面所有残差块输出结果相加输入到下一个残差块。本层中，所有Con3_32的步长为1，padding为1。经过特征映射，特征图输出数目与上一层同样为32个，尺寸为11×11。
步骤S304，特征扩充层，为获得更多的特征为后续图像重建做准备，本层使用Cov1_64与64个PReLU激活函数，步长为1，padding为0，将输出特征图扩充为64个，特征图尺寸为11×11。
步骤S305，反卷积层，本层利用反卷积函数Dcov9_1将输入进来的64个特征图重建为一幅高分辨率图像，Dcov9_1的步长为3，padding为4。最终本层输出一幅高分辨率图像，尺寸为31×31；本层中反卷积Dcov9_1的步长为3，卷积核大小为9，padding为4，将数值带入到步骤S202中的公式(1)和公式(2)中，标签集的图像切片的坐标可表示为：
计算得到sl的大小为31。
步骤S306，计算误差层，该层使用EuclideanLoss函数，误差通过计算本模型重建得到的高分辨率图像与标签集中的图像之间的欧式距离得到，并反馈网络进行修正。
重建模型构建完成之后，利用步骤S2中的标签集、训练数据集和测试数据集对模型进行训练，如图6所示，具体模型训练步骤如下：
步骤S31，设置训练次数为1000000；
步骤S32，设置每训练5000次，进行一次模型测试；
步骤S33，设置基础学习率为0.001；
步骤S34，开始训练，直到完成所有训练次数；
步骤S35，完成训练次数后，保存模型参数。
由于这个超高分辨率重建网络模型的训练次数需要达到百万甚至上千万次，本发明实施例中优选训练次数为1000000，每次对重建网络模型进行5000次的训练后，利用测试数据集进行一次重建网络模型的测试，对重建网络模型进行一次优化，基础学习率可以根据重建网络模型的训练总次数和每次需要进行训练的次数自行调整，本发明实施例中优选基础学习率为0.001。
步骤S4，将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像，具体的操作过程为：
选择低分辨率SAR图像，经过多视、地理编码、相干斑滤波完成对原始SAR图像的预处理；
加载步骤S3中经过训练后的重建模型参数，包括重建模型每个层中卷积核的参数以及PReLU激活函数的参数；
将预处理过的SAR图像输入到重建模型中，经过特征提取层提取64个特征图并且保持特征图尺寸与原始图像尺寸相同，通过复制图像外边缘保持图像尺寸不变，将64个特征图输入到64个PReLU激活函数，输出作为本层的输出结果；
经过特征收缩层完成对64个特征到32个特征的映射；经过特征映射层，完成对深度特征的提取，输出特征图数目不变，为32个；经过特征扩充层对32个特征图扩充至64个特征图；经过图像重建层，将64个特征图重建为一幅高分辨率SAR图像，该层通过设置64个大小为9×9的反卷积核，设置步长为1，设置边界填充为1。
遍历64个特征图，得到64个反卷积结果，将64个结果相加获得最终的高分辨率SAR图像。
实施例2
以我国高分三号卫星在FSII模式下拍摄的丹江口水库部分图像为例，图像分辨率为10米，对图像进行与处理，为便于观察，选取部分区域放大处理，经过本发明超分辨率重建模型对图像进行重建，经过对比，重建后的图像与放大后的原始图像，清晰度以及解译能力上均有很大程度的提高。
综上所述，本发明的SAR图像超分辨率重建方法，经过对SAR图像预处理，对SAR图像制作标签集、训练数据集和测试数据集，裁剪SAR图像制作标签集，利用双三次样条对图像进行降采样并裁剪获取训练数据集和测试数据集，构建并训练基于CNN的SAR图像超分辨率重建模型，将低分辨率SAR图像输入该模型中得到高分辨率SAR图像。通过本发明，能够利用卷积神经网络将低分辨率SAR图像获得高分辨率SAR图像，图像在清晰度以及解译能力上均有很大程度的提高，增加了实用性，对于提高低分辨SAR图像的内容解译能力具有重要的意义。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均在本发明待批权利要求保护范围之内。
Claims (9)
1.一种SAR图像超分辨率重建方法，其特征在于，所述重建方法包括以下步骤：
步骤S1，SAR图像预处理；
步骤S2，对所述步骤S1中的SAR图像制作标签集、训练数据集和测试数据集；
步骤S3，基于CNN构建一种SAR图像超分辨率重建模型，使用所述步骤S2中的所述标签集、所述训练数据集、所述测试数据集训练所述重建模型，所述重建模型具体为：
步骤S301，多尺度特征图提取层，设置Cov1_16、Cov3_16、Cov5_16、Cov9_16四种尺寸共64个卷积核以及64个PReLU激活函数，输出64个特征图；
步骤S302，特征图收缩层，将所述步骤S301中64个特征图收缩，输出32个特征图；
步骤S303，基于密度残差概念的特征映射层；根据ResNet与DensNet的思想，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出；
步骤S304，特征扩充层，使用Cov1_64与64个PReLU激活函数，将输出特征图扩充为64个；
步骤S305，反卷积层；利用反卷积函数将输入进来的64个特征图重建为一幅高分辨率图像，出一幅高分辨率图像；
步骤S306，计算误差层，使用EuclideanLoss函数，通过计算本模型重建得到的高分辨率图像与所述步骤S2中的所述标签集中的图像之间的欧式距离得到，并反馈网络进行修正；
步骤S4，将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像。
2.根据权利要求1所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S1具体包括以下步骤：
步骤S101，对SAR图像多视处理；
步骤S102，根据地理信息对所述步骤S101中的SAR图像进行地理编码；
步骤S103，使用精致lee滤波对相干斑噪声抑制。
3.根据权利要求1所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S2具体包括：
步骤S201，对经过预处理的所述SAR图像以固定大小进行裁剪，将得到的图像切片组成标签集；
步骤S202，通过双三次样条差值对原始SAR图像进行将采样获得低分辨SAR图像，并裁剪与所述标签集对应位置的图像切片，组成所述训练数据集和所述测试数据集；
在制作所述训练数据集时，记录数据集中的每个图像切片的第一个像素行列坐标分别为x、y，通过下列公式得到在原始高分辨率SAR图像中对应标签集中的图像坐标位置的起始坐标locx、locy；
式中，scale为降采样倍数的倒数，
为向下取整数，si表示训练图片的大小，sl表示标签集中的图像的大小。
4.根据权利要求2所述的SAR图像超分辨率重建方法，其特征在于，所述测试数据集与所述标签集和所述训练数据集的数据源不同。
5.根据权利要求1所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S302特征图收缩层，将所述步骤S301中64个特征图收缩，输出32个特征图，具体为：
将上层中Cov1_16与Cov9_16提取出来的32个特征图通过Cov1_16与16个PReLU激活函数融合收缩为16个特征图；将上层中Cov3_16与Cov5_16提取出来的32个特征图通过Cov1_16与16个PReLU融合收缩为16个特征图，共计输出32个特征图。
6.根据权利要求5所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S303基于密度残差概念的特征映射层，经过激活函数计算后的结构作为残差块的输出，具体为：
根据ResNet与DensNet的思想，防止梯度消失，本层设置3个残差块，每个残差块中包含两个Con3_32，在每个残差块中，输入数据和经过两次Con3_32后的结果相加，并输入PReLU激活函数，经过激活函数计算后的结构作为残差块的输出；输入到残差块的数据将会与残差块输出的结果相加作为下一个残差块的输入数据，并且每个残差块的输出结果都会与前面所有残差块输出结果相加输入到下一个残差块。
7.根据权利要求1所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S3中使用所述步骤S2中的所述标签集、所述训练数据集、所述测试数据集训练所述重建模型，具体训练步骤为：
步骤S31，设置训练次数；
步骤S32，设置每次训练次数，进行一次测试；
步骤S33，设置基础学习率；
步骤S34，开始训练，完成训练次数；
步骤S35，保存模型参数。
8.根据权利要求1所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S4将低分辨率SAR图像输入训练后的所述重建模型，得到高分辨率SAR图像具体包括以下步骤：
步骤S401，选择低分辨率SAR图像，进行预处理；
步骤S402，加载所述步骤S3经过训练后的模型参数；
步骤S403，将SAR图像输入到所述重建模型中；
步骤S404，经过处理得到高分辨率SAR图像。
9.根据权利要求8所述的SAR图像超分辨率重建方法，其特征在于，所述步骤S403，将SAR图像输入到所述重建模型中，具体处理过程为：
首先，提取特征图并保持特征图尺寸与原始图像尺寸相同；
其次，将特征图输入到PReLU激活函数，输出作为本层的输出结果；
最后，经过特征收缩层、特征映射层、特征扩充层以及图像重建层，得到一幅高分辨率SAR图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047882.6A CN110807734A (zh) | 2019-10-30 | 2019-10-30 | 一种sar图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911047882.6A CN110807734A (zh) | 2019-10-30 | 2019-10-30 | 一种sar图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110807734A true CN110807734A (zh) | 2020-02-18 |
Family
ID=69489649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911047882.6A Withdrawn CN110807734A (zh) | 2019-10-30 | 2019-10-30 | 一种sar图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807734A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784581A (zh) * | 2020-07-03 | 2020-10-16 | 苏州兴钊防务研究院有限公司 | 基于自归一化生成对抗网络的sar图像超分辨率重建方法 |
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
-
2019
- 2019-10-30 CN CN201911047882.6A patent/CN110807734A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAO DONG, CHEN CHANGE LOY,XIAOOU TANG: "Accelerating the super-resolution convolutional neural network", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2016》 * |
| 张金松,邢孟道,孙光才: "一种基于密集深度分离卷积的SAR图像水域分割算法", 《雷达学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784581A (zh) * | 2020-07-03 | 2020-10-16 | 苏州兴钊防务研究院有限公司 | 基于自归一化生成对抗网络的sar图像超分辨率重建方法 |
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
| CN113421190B (zh) * | 2021-06-24 | 2023-03-24 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8731313B2 (en) | Method and apparatus for accurate compression and decompression of three-dimensional point cloud data | |
| US7764810B2 (en) | Geospatial modeling system providing non-linear inpainting for voids in geospatial model terrain data and related methods | |
| CN104268934B (zh) | 一种由点云直接重建三维曲面的方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| US7750902B2 (en) | Geospatial modeling system providing non-linear inpainting for voids in geospatial model cultural feature data and related methods | |
| Yue et al. | Fusion of multi-scale DEMs using a regularized super-resolution method | |
| US8050896B2 (en) | Geospatial modeling system providing inpainting with stopping metric and related methods | |
| JP4637091B2 (ja) | 高さマップを使用した効率的なバンプマッピング | |
| KR20100106591A (ko) | 포아송―기반 공극 복원을 제공하는 지리공간 모델링 시스템 및 관련 방법 | |
| CN109636912B (zh) | 应用于三维声呐图像重构的四面体剖分有限元插值方法 | |
| Hall et al. | Characterization and quantification of data voids in the shuttle radar topography mission data | |
| CN110807734A (zh) | 一种sar图像超分辨率重建方法 | |
| CN103679650B (zh) | 岩心三维图像修复方法 | |
| US20090083291A1 (en) | Geospatial modeling system providing windowed geospatial model data inpainting and related methods | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN108324276B (zh) | 磁共振成像方法和装置 | |
| CN105279794A (zh) | 基于Micro-CT技术的储层岩心多组织模型构建方法 | |
| US7949203B2 (en) | Geospatial modeling system providing void inpainting based upon selectable inpainting functions and related methods | |
| CN117172134A (zh) | 基于融合地形特征的月表多尺度dem建模方法及系统 | |
| US20090083012A1 (en) | Geospatial modeling system providing wavelet decomposition and inpainting features and related methods | |
| CN115267898B (zh) | 天然地震数据重建方法、装置和电子设备 | |
| CN111696207B (zh) | 一种基于引导滤波的多基线dem融合方法 | |
| CN117474765B (zh) | 基于参考影像纹理转移的dem超分辨率重建系统 | |
| Wang et al. | An InSAR Interferogram Filtering Method Based on Multi-Level Feature Fusion CNN | |
| Gierlinger et al. | Visualization of marine sand dune displacements utilizing modern GPU techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200218 |