CN111127321B - 遥感卫星分辨率提升方法、装置、电子设备及存储介质 - Google Patents
遥感卫星分辨率提升方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111127321B CN111127321B CN201911347529.XA CN201911347529A CN111127321B CN 111127321 B CN111127321 B CN 111127321B CN 201911347529 A CN201911347529 A CN 201911347529A CN 111127321 B CN111127321 B CN 111127321B
- Authority
- CN
- China
- Prior art keywords
- resolution
- remote sensing
- sensing satellite
- satellite image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 44
- 230000015654 memory Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例涉及一种遥感卫星分辨率提升方法、装置、电子设备及存储介质。本申请实施例的遥感卫星分辨率提升方法包括：获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像。本申请实施例的遥感卫星分辨率提升方法可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
Description
技术领域
本申请实施例涉及卫星遥感监测技术领域，特别是涉及一种遥感卫星分辨率提升方法、装置、电子设备及存储介质。
背景技术
中国对于高分辨率对地观测系统的建设始于2010年，已成功发射高分一号至高分六号共计六颗卫星，可涵盖了不同空间分辨率、不同覆盖宽度、不同谱段、不同重访周期的高分数据体系已基本形成。这些卫星获得的数据已广泛应用于国土普查、城市规划、土地确权、路网设计、农作物估产和防灾减灾等领域。高分二号是迄今为止我国使用最为广泛的民用遥感卫星，具备高空间分辨率0.8米和幅宽大于45千米的成像能力，是现今我国焦距最长、分辨率最高的民用航天遥感相机，其获取的影像数据广泛服务于18个国家部委和28个省市地方行业，及国防军事与商业市场等领域，月分发20余万景超过1.1亿平方公里影像，已成为高分辨率影像主力数据源，国内市场占有率达80％。
在民用领域，如农业，林业，交通，环保使用遥感数据对特定区域进行定期的观测分析，对于全色分辨率低于0.5米的需求越来越强。分辨率越高，意味着卫星传感器越精确，直接导致卫星的造价居高不下，而高分辨率的遥感数据的采购价格也随之水涨船高。在国内全色分辨率低于0.5米可以选卫星不多，国外卫星数据采购价格高昂，且分辨率低于0.5米卫星数据价格多高于高分二号的价格，在民用遥感卫星领域很难兼顾数据的采购成本和数据的分辨率。
发明内容
本申请实施例提供了一种遥感卫星分辨率提升方法、装置、电子设备及存储介质，可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
第一方面，本申请实施例提供了一种遥感卫星分辨率提升方法，包括步骤：
获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；
建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像。
可选的，所述获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，包括：
获取指定区域的高分辨率遥感卫星图像；
对所述高分辨率遥感卫星图像进行分辨率降采样，获取指定区域的低分辨率遥感卫星图像。
可选的，所述将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型前，还包括：
对所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像进行辐射校正、几何校正和遥感图像融合处理。
可选的，所述分辨率提升网络模型包括分辨率提升主干网络、第一生成器Gz和第一判别器Dz，其中，所述分辨率提升主干网络用于提升所述低分辨率遥感卫星图像的分辨率，所述第一生成器Gz用于将所述高分辨率的遥感卫星图像向所述低分辨率的遥感卫星图像转换，所述第一判别器Dz为所述高分辨率遥感卫星图像数据域的判别式。
可选的，所述分辨率提升网络模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
的公式为：
所述循环一致性约束损失函数
的公式为：
所述对等约束损失函数
的公式为：
所述总变分损失函数
的公式为：
其中，N代表一个批次下训练的图片样本的个数，yi代表训练批次里的某一个低分辨率的遥感卫星图像；zi代表高分辨率的遥感卫星图像；
代表图像水平方向上的梯度，
代表图像垂直方向上的梯度，WDSR代表分辨率提升网络模型；
则所述风格变换模型的损失函数
的公式为：
其中，λ1、λ2和λ3为权重系数。
可选的，所述提升主干网络为WDSR网络。
第二方面，本申请实施例提供了一种遥感卫星分辨率提升装置，包括：
遥感卫星图像获取模块，用于获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；
分辨率提升网络训练模块，用于建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
分辨率提升模块，用于将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请实施例第一方面所述的遥感卫星分辨率提升方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面所述的遥感卫星分辨率提升方法。
在本申请实施例中，通过获取指定区域的高分辨率和低分辨率遥感卫星图像，并使用高分辨率和低分辨率遥感卫星图像训练分辨率提升网络模型，并将待测区域的低分辨率遥感卫星图像输入该分辨率提升网络模型得到高分辨率的并且去雾的待测区域的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图说明
图1为在一个示例性实施例中示出的本申请实施例遥感卫星分辨率提升方法流程图；
图2为在一个示例性实施例中示出的获取遥感卫星图像流程图；
图3为在一个示例性实施例中示出的分辨率提升网络模型的结构示意图；
图4为在一个示例性实施例中示出的WDSR网络的结构示意图；
图5为在一个示例性实施例中示出的WDSR-B残差块的结构示意图；
图6为在一个示例性实施例中示出的本申请实施例遥感卫星分辨率提升装置的结构示意图；
图7为在一个示例性实施例中示出的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本申请一个实施例中遥感卫星分辨率提升方法的示意图，包括如下步骤：
步骤S101：获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理。
所述指定区域为预设的地理区域，可以是任意的地表区域，优选的，可以是选择人类活动较为集中的区域。
所述高分辨率遥感卫星图像为分辨率相对较高的遥感卫星图像，例如分辨率低于0.5米的遥感卫星图像，所述低分辨率的遥感卫星图像为分辨率相对较低的遥感卫星图像，例如分辨率高于0.8米，或更高的遥感卫星图像。
所述高分辨率遥感卫星图像为高分辨率的第一遥感卫星所拍摄的指定区域的图像，所述低分辨率的遥感卫星图像可以是低分辨率的第二遥感卫星所拍摄的该指定区域的图像，优选的，本申请实施例采用高分2号卫星的遥感数据作为低分辨率的遥感卫星图像，其中，高分2号卫星的高空间分辨率为0.8米。
在雾、霾之类的恶劣天气下，采集的图像质量会由于大气散射而严重降低，使遥感卫星图像的颜色偏灰白色，对比度降低，物体特征难以辨认。所以需要图像去雾技术来增强或修复，以改善遥感卫星图像的显示效果。
因此，本申请实施例对高分辨率的遥感卫星图像进行去雾处理，得到更为清晰准确的高分辨率遥感卫星图像。所述去雾处理可以是使用基于图像处理的增强方法或基于物理模型的复原方法。基于图像处理的增强方法通过对雾天图像进行增强，改善图像质量，其优点是可以利用已有的成熟图像处理算法进行针对性运用，增强图像的对比度，突出图像中景物的特征和有价值的信息。基于物理模型的复原方法通过研究大气悬浮颗粒对光的散射作用，建立大气散射模型，了解图像退化的物理机理，并复原出未降质前的图像。
在一个优选的例子中，采用同态滤波算法对所述高分辨率遥感卫星图像进行去雾处理。
步骤S102：建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
本申请实施例中的分辨率提升网络模型采用图像超分辨率技术提高所述低分辨率遥感卫星图像的分辨率，其中，图像超分辨率(SR)是指从低分辨率(LR)图像中恢复高分辨率(HR)图像的过程，是计算机视觉和图像处理中一种重要的图像处理技术。除了改善图像的感知质量，它还有助于改善其它计算机视觉任务。
在一个例子中，分辨率提升网络模型可以是采用single image super-resolution(SISR)模型架构，例如VDSR，SRResNet，EDSR和WDSR等。
单图的超分辨率通常可以分为两个方向。第一个方向力求恢复出真实可靠的细节部分，应用场景例如医学影像上的超分辨率重建，低分辨率摄像头人脸或者外形的恢复等对细节要求苛刻的场景。另一个则追求整体视觉效果，细节部位要求不高。例如低分辨率视频电视的恢复、相机模糊图像的恢复等。
本申请中的图像超分辨率技术可以包括如下三类：监督SR、无监督SR以及特定领域的SR。然而，由于获取同一个场景的不同分辨率图像难度较大，SR数据集中的LR图像往往是通过对HR图像进行预定义的降级来获得的，因此，在这些数据集上训练的SR模型更有可能学习预定义降级的可逆流程。
因此，为了避免预定义降级带来的不良影响，在一个优选的例子中，采用无监督超分辨率技术，用于训练的图像只有HR或LR的非配对图像，因此得到的模型更擅长解决实际应用中的SR问题。
步骤S103：将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像。
在所述分辨率提升网络模型训练完成后，将待测区域的低分辨率遥感卫星图像输入所述分辨率提升网络模型中，便可得到待测区域高分辨率且去雾的遥感卫星图像。
在本申请实施例中，通过获取指定区域的高分辨率和低分辨率遥感卫星图像，并使用高分辨率和低分辨率遥感卫星图像训练分辨率提升网络模型，并将待测区域的低分辨率遥感卫星图像输入该分辨率提升网络模型得到高分辨率的并且去雾的待测区域的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
获取指定区域的高分辨率和低分辨率的遥感卫星图像时，如果分别从两个卫星图像中获取，由于两个卫星的高度和拍摄角度不同，且拍摄时间不同，导致拍摄时的天气状况可能也不相同，两者的卫星图像可能会有较大的差异，因此，在一个示例性的实施例中，如图2所示，获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，包括：
步骤S201：获取指定区域的高分辨率遥感卫星图像；
步骤S202：对所述高分辨率遥感卫星图像进行分辨率降采样，获取指定区域的低分辨率遥感卫星图像。
在本实施例中，所述指定区域的低分辨率遥感卫星图像并不由低分辨率的遥感卫星获取，而是由高分辨率的遥感卫星图像降采样而来。
其中，对所述高分辨率遥感卫星图像进行分辨率降采样可以是使用双三次插值进行2倍或者4倍降采样。
在一个示例性的实施例中，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型前，还包括：
对所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像进行辐射校正、几何校正和遥感图像融合处理。
如图3所示，图3为在一个示例性的实施例中的分辨率提升网络模型的结构示意图，本实施例的分辨率提升网络模型包括分辨率提升主干网络、第一生成器Gz和第一判别器Dz，其中，所述分辨率提升主干网络用于提升所述低分辨率遥感卫星图像的分辨率，所述第一生成器Gz用于将所述高分辨率的遥感卫星图像向所述低分辨率的遥感卫星图像转换，所述第一判别器Dz为所述高分辨率遥感卫星图像数据域的判别式。
优选的，在本申请实施例中，主干网络采用WDSR模型。本步骤主要是用来提升遥感卫星的空间分辨率，模型的输入是经过低分辨率的遥感卫星图像，图片大小为256x256，输出是经过像素提升的遥感卫星图片，图像分辨率大小的512x512的图片。
在图3中，Y代表转换过后第一遥感卫星图像的数据域，WDSR为分辨率提升主干网络，主要完成对低分辨率的遥感卫星图像的分辨率的提升。Gz函数代表Z->X转换函数，主要完成高分辨率图像向低分辨率遥感卫星图像的转换。Dz是高分辨率遥感卫星图像数据域的判别式，主要为生成高分辨率的遥感卫星图像提供物体的纹理细节信息。
如图4和图5所示，WDSR除了使用残差结构将网络深度加速以外，加深了Relu激活函数的通道的“厚度”，让图像的重构能够更加有效的利用底层的特征信息，帮助网络更好的恢复出高分辨率图像的细节信息。WDSR网络的主要结构如下图所示，图中的长方块代表卷积操作，网络上面的通路只要用来学习残差值，图像通过亚像素卷积(Pixel Shuffle)进行放大，WDSR网络中残差块采用了WDSR-B的结构。
在一个示例性的实施例中，所述分辨率提升网络模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
的公式为：
对抗损失的函数采用了LSGAN中的最小二乘损失函数，WDSR代表分辨率提升网络模型。
所述循环一致性约束损失函数
的公式为：
所述对等约束损失函数
的公式为：
所述总变分损失函数
的公式为：
其中，N代表一个批次下训练的图片样本的个数，yi代表训练批次里的某一个低分辨率的遥感卫星图像；zi代表高分辨率的遥感卫星图像；
代表图像水平方向上的梯度，
代表图像垂直方向上的梯度；WDSR代表分辨率提升网络模型；
则所述风格变换模型的损失函数
的公式为：
其中，λ1、λ2和λ3为权重系数。可以分别设置成10，5，1。优化器，学习率设置跟风格变换模型训练保持一致。
将上述训练好的模型导出，剪支，量化，输入低分辨率的遥感卫星影像块后，可以输出高分辨率图像影像块。考虑到模型处理的效率，可以将模型在生产环境部署多个实例，加快并行的效率，提高系统的吞吐。
通过本方法提升过超分辨率的图像可以进一步输入到其他的深度学习模型中，完成河道线，道路，车辆等小微物体的检测。
与前述遥感卫星分辨率提升方法相对应，本申请实施例还提供一种遥感卫星分辨率提升装置，所述装置可以是安装于任何智能终端，例如，可以具体为计算机、服务器，分析设备等。本申请实施例的遥感卫星分辨率提升装置，通过获取指定区域的高分辨率和低分辨率遥感卫星图像，并使用高分辨率和低分辨率遥感卫星图像训练分辨率提升网络模型，并将待测区域的低分辨率遥感卫星图像输入该分辨率提升网络模型得到高分辨率的并且去雾的待测区域的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
如图6所示，在一个示例性的实施例中，所述遥感卫星分辨率提升装置600包括：
遥感卫星图像获取模块601，用于获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；
分辨率提升网络训练模块602，用于建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
分辨率提升模块603，用于将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像。
在一个示例性的实施例中，遥感卫星图像获取模块601包括：
高分辨率图像获取单元，用于获取指定区域的高分辨率遥感卫星图像；
降采样单元，用于对所述高分辨率遥感卫星图像进行分辨率降采样，获取指定区域的低分辨率遥感卫星图像。
在一个示例性的实施例中，所述遥感卫星分辨率提升装置600还包括：
预处理模块，用于对所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像进行辐射校正、几何校正和遥感图像融合处理。
在一个示例性的实施例中，所述分辨率提升网络模型包括分辨率提升主干网络、第一生成器Gz和第一判别器Dz，其中，所述分辨率提升主干网络用于提升所述低分辨率遥感卫星图像的分辨率，所述第一生成器Gz用于将所述高分辨率的遥感卫星图像向所述低分辨率的遥感卫星图像转换，所述第一判别器Dz为所述高分辨率遥感卫星图像数据域的判别式。
在一个示例性的实施例中，所述分辨率提升网络模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
的公式为：
所述循环一致性约束损失函数
的公式为：
所述对等约束损失函数
的公式为：
所述总变分损失函数
的公式为：
其中，N代表一个批次下训练的图片样本的个数，yi代表训练批次里的某一个低分辨率的遥感卫星图像；zi代表高分辨率的遥感卫星图像；
代表图像水平方向上的梯度，
代表图像垂直方向上的梯度；
则所述风格变换模型的损失函数
的公式为：
其中，λ1、λ2和λ3为权重系数。
在一个示例性的实施例中，所述提升主干网络为WDSR网络。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
与前述遥感卫星分辨率提升方法相对应，本申请实施例还提供一种遥感卫星分辨率提升装置应用的电子设备，所述遥感卫星分辨率提升设备可以具体为计算机、手机、平板电脑等。所述电子设备通过获取指定区域的高分辨率和低分辨率遥感卫星图像，并使用高分辨率和低分辨率遥感卫星图像训练分辨率提升网络模型，并将待测区域的低分辨率遥感卫星图像输入该分辨率提升网络模型得到高分辨率的并且去雾的待测区域的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
如图7所示，图7是本申请实施例根据一示例性实施例示出的一种电子设备的结构框图。
该电子设备包括：处理器1200、存储器1201、具有触摸功能的显示屏1202、输入装置1203、输出装置1204以及通信装置1205。该电子设备中处理器1200的数量可以是一个或者多个，图7中以一个处理器1200为例。该电子设备中存储器1201的数量可以是一个或者多个，图7中以一个存储器1201为例。该电子设备的处理器1200、存储器1201、显示屏1202、输入装置1203、输出装置1204以及通信装置1205可以通过总线或者其他方式连接，图7中以通过总线连接为例。实施例中，电子设备可以是计算机、手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、电子书阅读器、多媒体播放器等。本申请实施例中，以电子设备为计算机为例，进行描述。
存储器1201作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例任意实施例所述的遥感卫星分辨率提升方法程序，以及本申请实施例任意实施例所述的遥感卫星分辨率提升方法对应的程序指令/模块。存储器1201可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器1201可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1201可进一步包括相对于处理器1200远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏1202可为具有触摸功能的显示屏，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏1202用于根据处理器1200的指示显示数据，还用于接收作用于显示屏1202的触摸操作，并将相应的信号发送至处理器1200或其他装置。可选的，当显示屏1202为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏1202的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器1200或者其他设备。在其他例子中，显示屏1202也可为不具有触摸功能的显示屏。
通信装置1205，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置1203可用于接收输入的数字或者字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置1204可以包括扬声器等音频设备。需要说明的是，输入装置1203和输出装置1204的具体组成可以根据实际情况设定。
处理器1200通过运行存储在存储器1201中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述任一实施例所记载的遥感卫星分辨率提升方法。
上述设备中各个组件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。上述提供的电子设备可用于执行上述任意实施例提供的资源调用方法，具备相应的功能和有益效果。上述设备中各个组件的功能和作用的实现过程具体详见上述资源调用方法中对应步骤的实现过程，在此不再赘述。
本发明还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任意一项所述的遥感卫星分辨率提升方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带，磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请实施例的其它实施方案。本申请实施例旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
以上所述实施例仅表达了本申请实施例的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请实施例构思的前提下，还可以做出若干变形和改进，这些都属于本申请实施例的保护范围。
Claims (8)
1.一种遥感卫星分辨率提升方法，其特征在于，包括如下步骤：
获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；
建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像；
所述分辨率提升网络模型包括分辨率提升主干网络、第一生成器
和第一判别器
，
其中，所述分辨率提升主干网络用于提升所述低分辨率遥感卫星图像的分辨率，所述第一
生成器
用于将所述高分辨率的遥感卫星图像向所述低分辨率的遥感卫星图像转换，所述
第一判别器
为所述高分辨率遥感卫星图像数据域的判别式；
所述分辨率提升网络模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
的公式为：
所述循环一致性约束损失函数
的公式为：
所述对等约束损失函数
的公式为：
所述总变分损失函数
的公式为：
其中，N代表一个批次下训练的图片样本的个数，y i 代表训练批次里的某一个低分辨率
的遥感卫星图像；
代表高分辨率的遥感卫星图像； 
代表图像水平方向上的梯度，
代
表图像垂直方向上的梯度，
代表分辨率提升网络模型；
则所述分辨率提升网络模型的总损失函数
的公式为：
其中，
、
和
为权重系数。
2.根据权利要求1所述的遥感卫星分辨率提升方法，其特征在于，所述获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，包括：
获取指定区域的高分辨率遥感卫星图像；
对所述高分辨率遥感卫星图像进行分辨率降采样，获取指定区域的低分辨率遥感卫星图像。
3.根据权利要求1所述的遥感卫星分辨率提升方法，其特征在于，所述将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型前，还包括：
对所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像进行辐射校正、几何校正和遥感图像融合处理。
4.根据权利要求1所述的遥感卫星分辨率提升方法，其特征在于：
所述提升主干网络为WDSR网络。
5.一种遥感卫星分辨率提升装置，其特征在于，所述装置包括：
遥感卫星图像获取模块，用于获取指定区域的高分辨率遥感卫星图像和低分辨率遥感卫星图像，并对所述高分辨率遥感卫星图像进行去雾处理；
分辨率提升网络训练模块，用于建立分辨率提升网络模型，将所述高分辨率遥感卫星图像和所述低分辨率遥感卫星图像作为训练集，训练所述分辨率提升网络模型；
分辨率提升模块，用于将待测区域低分辨率的遥感卫星图像输入所述分辨率提升网络模型，得到待测区域高分辨率并去雾的遥感卫星图像；
所述分辨率提升网络模型包括分辨率提升主干网络、第一生成器
和第一判别器
，
其中，所述分辨率提升主干网络用于提升所述低分辨率遥感卫星图像的分辨率，所述第一
生成器
用于将所述高分辨率的遥感卫星图像向所述低分辨率的遥感卫星图像转换，所述
第一判别器
为所述高分辨率遥感卫星图像数据域的判别式；
所述分辨率提升网络模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
的公式为：
所述循环一致性约束损失函数
的公式为：
所述对等约束损失函数
的公式为：
所述总变分损失函数
的公式为：
其中，N代表一个批次下训练的图片样本的个数，y i 代表训练批次里的某一个低分辨率
的遥感卫星图像；
代表高分辨率的遥感卫星图像； 
代表图像水平方向上的梯度，
代
表图像垂直方向上的梯度，
代表分辨率提升网络模型；
则所述分辨率提升网络模型的总损失函数
的公式为：
其中，
、
和
为权重系数。
6.根据权利要求5所述的遥感卫星分辨率提升装置，其特征在于，遥感卫星图像获取模块包括：
高分辨率图像获取单元，用于获取指定区域的高分辨率遥感卫星图像；
降采样单元，用于对所述高分辨率遥感卫星图像进行分辨率降采样，获取指定区域的低分辨率遥感卫星图像。
7.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-4中任一所述的遥感卫星分辨率提升方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347529.XA CN111127321B (zh) | 2019-12-24 | 2019-12-24 | 遥感卫星分辨率提升方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347529.XA CN111127321B (zh) | 2019-12-24 | 2019-12-24 | 遥感卫星分辨率提升方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127321A CN111127321A (zh) | 2020-05-08 |
| CN111127321B true CN111127321B (zh) | 2021-09-03 |
Family
ID=70501780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347529.XA Active CN111127321B (zh) | 2019-12-24 | 2019-12-24 | 遥感卫星分辨率提升方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127321B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298095A (zh) * | 2021-06-23 | 2021-08-24 | 成都天巡微小卫星科技有限责任公司 | 一种基于卫星遥感的高精度路网密度提取方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
-
2019
- 2019-12-24 CN CN201911347529.XA patent/CN111127321B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Wide Activation for Efficient and Accurate Image Super-Resolution;Jiahui Yu等;《arXiv》;20181221;第1808卷(第08718期);第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127321A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179172B (zh) | 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| WO2019192338A1 (zh) | 图像的处理方法、装置、存储介质和电子装置 | |
| Lu et al. | Underwater image super-resolution by descattering and fusion | |
| CN109859120B (zh) | 基于多尺度残差网络的图像去雾方法 | |
| CN111986084B (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| Zhao et al. | Pyramid global context network for image dehazing | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN107316286B (zh) | 一种图像中雨雾同步合成、去除的方法和装置 | |
| CN109447930B (zh) | 小波域光场全聚焦图像生成算法 | |
| WO2020220516A1 (zh) | 图像生成网络的训练及图像处理方法、装置、电子设备、介质 | |
| CN113222825B (zh) | 基于可见光图像训练的红外图像超分辨率重构方法及应用 | |
| CN113837938A (zh) | 基于动态视觉传感器重建潜在图像的超分辨率方法 | |
| CN112819697B (zh) | 一种遥感影像时空融合方法及系统 | |
| CN108921783A (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN110211046A (zh) | 一种基于生成对抗网络的遥感图像融合方法、系统和终端 | |
| CN115115516B (zh) | 基于Raw域的真实世界视频超分辨率的构建方法 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| CN115222614A (zh) | 一种先验引导的多降质特征夜光遥感影像质量提升方法 | |
| CN111127321B (zh) | 遥感卫星分辨率提升方法、装置、电子设备及存储介质 | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |