CN111179172B - 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质 - Google Patents

基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111179172B
CN111179172B CN201911349278.9A CN201911349278A CN111179172B CN 111179172 B CN111179172 B CN 111179172B CN 201911349278 A CN201911349278 A CN 201911349278A CN 111179172 B CN111179172 B CN 111179172B
Authority
CN
China
Prior art keywords
image
resolution
remote sensing
sensing satellite
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911349278.9A
Other languages
English (en)
Other versions
CN111179172A (zh
Inventor
苏超
杨强
曹园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911349278.9A priority Critical patent/CN111179172B/zh
Publication of CN111179172A publication Critical patent/CN111179172A/zh
Application granted granted Critical
Publication of CN111179172B publication Critical patent/CN111179172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及一种基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质。本申请实施例的基于无人机航拍数据的遥感卫星超分辨率实现方法包括：将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。本申请实施例的基于无人机航拍数据的遥感卫星超分辨率实现方法可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。

Description

基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电 子设备及存储介质
技术领域
本申请实施例涉及卫星遥感监测技术领域，特别是涉及一种基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质。
背景技术
中国对于高分辨率对地观测系统的建设始于2010年，已成功发射高分一号至高分六号共计六颗卫星，可涵盖了不同空间分辨率、不同覆盖宽度、不同谱段、不同重访周期的高分数据体系已基本形成。这些卫星获得的数据已广泛应用于国土普查、城市规划、土地确权、路网设计、农作物估产和防灾减灾等领域。高分二号是迄今为止我国使用最为广泛的民用遥感卫星，具备高空间分辨率0.8米和幅宽大于45千米的成像能力，是现今我国焦距最长、分辨率最高的民用航天遥感相机，其获取的影像数据广泛服务于18个国家部委和28个省市地方行业，及国防军事与商业市场等领域，月分发20余万景超过1.1亿平方公里影像，已成为高分辨率影像主力数据源，国内市场占有率达80％。
在民用领域，如农业，林业，交通，环保使用遥感数据对特定区域进行定期的观测分析，对于全色分辨率低于0.5米的需求越来越强。分辨率越高，意味着卫星传感器越精确，直接导致卫星的造价居高不下，而高分辨率的遥感数据的采购价格也随之水涨船高。在国内全色分辨率低于0.5米可以选卫星不多，国外卫星数据采购价格高昂，且分辨率低于0.5米卫星数据价格多高于高分二号的价格，在民用遥感卫星领域很难兼顾数据的采购成本和数据的分辨率。
无人机技术已经非常成熟并进入民用阶段，无人机被广泛应用于政府主导的公共服务、科研，以及商业化服务如农业、航拍等领域。近两年由于技术成熟、成本下降、政策驱动等原因，民用领域，尤其是消费级无人机发展迅猛。
无人机影像获取周期短，时效性强，有利于快速得到航拍的影像，便于快速及时有效的测绘统计。目前而言，无人机已经应用于遥感测绘，安全巡检等各个行业，无人机航拍已经能成为卫星和有人机获取遥感数据手段的有效补充了。无人机具有高时效、低成本、成像分辨率和风险小等优点。虽然无人机在小范围内的数据获取价格低廉，但受制于无人机的巡航时间不适合大范围航拍，因此无法适用于大范围的对地观测。
发明内容
本申请实施例提供了一种基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质，可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
第一方面，本申请实施例提供了一种基于无人机航拍数据的遥感卫星超分辨率实现方法，包括步骤：
获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率；
对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像；
将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型；
将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型；
将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；
将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
可选的，所述风格变换模型采用CycleGAN框架，包括第一生成器Gx、第二生成器Gy、第一判别器Dx和第二判别器Dy，其中，所述第一生成器Gx用于将所述遥感卫星图像向所述低分辨率无人机航拍图像转换，所述第二生成器Gy用于将所述低分辨率无人机航拍图像向所述遥感卫星图像转换，所述第一判别器Dx为所述遥感卫星图像数据域的判别式，所述第二判别器Dy为所述无人机航拍图像数据域的判别式。
可选的，所述风格变换模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA0002334268070000021
的公式为：
Figure BDA0002334268070000022
所述循环一致性约束损失函数
Figure BDA0002334268070000023
的公式为：
Figure BDA0002334268070000031
所述对等约束损失函数
Figure BDA0002334268070000032
的公式为：
Figure BDA0002334268070000033
所述总变分损失函数
Figure BDA0002334268070000034
的公式为：
Figure BDA0002334268070000035
其中，N代表训练样本的个数，xi代表训练批次里的某一张遥感卫星数据的切片图像；yi代表训练批次里的某一个降采样后的无人机航拍图像；
Figure BDA0002334268070000036
代表图像水平方向上的梯度，
Figure BDA0002334268070000037
代表图像垂直方向上的梯度；
则所述风格变换模型的损失函数
Figure BDA0002334268070000038
的公式为：
Figure BDA0002334268070000039
其中，w1、w2和w3为权重系数。
可选的，所述图像分辨率提升模型包括分辨率提升主干网络、第三生成器Gz和第三判别器Dz，其中，所述分辨率提升主干网络用于提升风格变换后的遥感卫星图像的分辨率，所述第三生成器Gz用于将所述无人机航拍图像向所述风格变换后的遥感卫星图像转换，所述第三判别器Dz为所述无人机航拍图像数据域的判别式。
可选的，所述图像分辨率提升模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA00023342680700000310
的公式为：
Figure BDA00023342680700000311
所述循环一致性约束损失函数
Figure BDA00023342680700000312
的公式为：
Figure BDA00023342680700000313
所述对等约束损失函数
Figure BDA00023342680700000314
的公式为：
Figure BDA00023342680700000315
所述总变分损失函数
Figure BDA00023342680700000316
的公式为：
Figure BDA0002334268070000041
其中，yi代表训练批次里的某一个降采样后的无人机航拍图像；zi代表高分辨率的无人机航拍图片；
Figure BDA0002334268070000042
代表图像水平方向上的梯度，
Figure BDA0002334268070000043
代表图像垂直方向上的梯度，WDSR代表图像分辨率提升模型；
则所述图像分辨率提升模型的损失函数
Figure BDA0002334268070000044
的公式为：
Figure BDA0002334268070000045
其中，λ1、λ2和λ3为权重系数。
可选的，所述提升主干网络为WDSR网络。
可选的，将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型前，还包括如下步骤：
将所述遥感卫星图像和所述低分辨率无人机航拍图像按照相同的分辨率大小，切割为多个图片块。
第二方面，本申请实施例提供了一种基于无人机航拍数据的遥感卫星超分辨率实现装置，包括：
图像获取模块，用于获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率；
采样模块，用于对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像；
风格变换模型训练模块，用于将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型；
分辨率提升模型训练模块，用于将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型；
风格变换模块，用于将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；
分辨率提升模块，用于将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请实施例第一方面所述的基于无人机航拍数据的遥感卫星超分辨率实现方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例第一方面所述的基于无人机航拍数据的遥感卫星超分辨率实现方法。
在本申请实施例中，通过风格变换模型，将低分辨率的遥感卫星图像转换为接近于无人机航拍图像，从而减小低分辨率遥感卫星图像相对于无人机航拍图像的光照强度、角度、色彩、云层等偏差，并进一步将变换后的低分辨率遥感卫星图像通过图像分辨率提升模型，得到高分辨率的消除了光照强度、角度、色彩、云层等偏差影响的无人机航拍风格的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图说明
图1为在一个示例性实施例中示出的本申请实施例基于无人机航拍数据的遥感卫星超分辨率实现方法流程图；
图2为在一个示例性实施例中示出的对抗网络模型结构示意图；
图3为在一个示例性实施例中示出的风格变换模型的结构示意图；
图4为在一个示例性实施例中示出的风格变换模型生成器网络的结构示意图；
图5为在一个示例性实施例中示出的风格变换模型判别器网络的结构示意图；
图6为在一个示例性实施例中示出的图像分辨率提升模型的结构示意图；
图7为在一个示例性实施例中示出的WDSR网络的结构示意图；
图8为在一个示例性实施例中示出的WDSR-B残差块的结构示意图；
图9为在一个示例性实施例中示出的本申请实施例基于无人机航拍数据的遥感卫星超分辨率实现装置的结构示意图；
图10为在一个示例性实施例中示出的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本申请一个实施例中基于无人机航拍数据的遥感卫星超分辨率实现方法的示意图，包括如下步骤：
步骤S101：获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率。
所述指定区域为预设的地理区域，可以是任意的地表区域，优选的，可以是选择人类活动较为集中的区域。
所述遥感卫星图像为遥感卫星所拍摄的指定区域的图像，在本申请实施例中，遥感卫星所拍摄的图像的分辨率通常不低于0.5米，优选的，本申请实施例采用高分2号卫星的遥感数据作为训练和使用的遥感卫星图像，其中，高分2号卫星的高空间分辨率为0.8米。
所述无人机航拍图像为通过无人机所拍摄的航拍图像，在本申请实施例中，无人机航拍镜头的拍摄角度需要尽量跟卫星角度一致。在一个优选的例子中，无人机航拍比例尺选择1：1000和1：2000，航拍高度600-800米，1000-1500米，保证两次无人机航拍的地面物体分辨率达到0.1米和0.2米。
由于无人机航拍的区域有限，在一些例子中，所述无人机航拍图像由多次无人机航拍的图像拼接而成。
步骤S102：对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像。
其中，对所述无人机航拍图像进行分辨率降采样用于降低无人机航拍图像的分辨率，在一个例子中，可以是使用双三次插值进行2倍或者4倍降采样，对前一步骤无人机的航拍图像分辨率进行降采样。
在一个例子中，还可以将遥感卫星图像、降采样的低分辨率无人机航拍图像、降采样前的无人机航拍图像分别记作X，Y，Z。对遥感卫星图像，降采样的低分辨率无人机航拍图像，降采用前的无人机航拍图像按照256x256分辨率大小切割成均等大小，每个切割出来的图片块记作xi∈X，yi∈Y，zi∈Z，数据后存放在对应目录下。
步骤S103：将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型。
其中，所述风格变换模型为对抗网络模型，所述风格变换模型用于减小所述遥感卫星图像与所述低分辨率无人机航拍图像之间由于拍摄条件不同所造成的偏差。
与无人机航拍图像相比，遥感卫星图像由于受云层反射光线的影响，其图像色彩会有一些偏差，同时，遥感卫星图像还会受云层以及拍摄角度的影响，与无人机航拍图片存在图像偏差以及角度偏差，因此，本申请实施例采用风格变换模型，将遥感卫星图像向无人机航拍图像转换，以消除遥感卫星图像与无人机拍摄图像之间的上述偏差。
如图2所示所述对抗网络模型(GAN，Generative Adversarial Networks)是一种深度学习模型，模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
步骤S104：将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型。
其中，所述图像分辨率提升模型用于提高所述风格变换后的遥感卫星图像的分辨率。
本申请实施例中的图像分辨率模型采用图像超分辨率技术提高所述风格变换后的遥感卫星图像的分辨率，其中，图像超分辨率(SR)是指从低分辨率(LR)图像中恢复高分辨率(HR)图像的过程，是计算机视觉和图像处理中一种重要的图像处理技术。除了改善图像的感知质量，它还有助于改善其它计算机视觉任务。
在一个例子中，图像分辨率提升模型可以是采用single image super-resolution(SISR)模型架构，例如VDSR，SRResNet，EDSR和WDSR等。
单图的超分辨率通常可以分为两个方向。第一个方向力求恢复出真实可靠的细节部分，应用场景例如医学影像上的超分辨率重建，低分辨率摄像头人脸或者外形的恢复等对细节要求苛刻的场景。另一个则追求整体视觉效果，细节部位要求不高。例如低分辨率视频电视的恢复、相机模糊图像的恢复等。
本申请中的图像超分辨率技术可以包括如下三类：监督SR、无监督SR以及特定领域的SR。然而，由于获取同一个场景的不同分辨率图像难度较大，SR数据集中的LR图像往往是通过对HR图像进行预定义的降级来获得的，因此，在这些数据集上训练的SR模型更有可能学习预定义降级的可逆流程。
因此，为了避免预定义降级带来的不良影响，在一个优选的例子中，采用无监督超分辨率技术，用于训练的图像只有HR或LR的非配对图像，因此得到的模型更擅长解决实际应用中的SR问题。
步骤S105：将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像。
步骤S106：将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
在所述风格变换模型和所述图像分辨率提升模型训练完成后，将待测区域的低分辨率遥感卫星图像输入所述风格变换模型中，便可得到消除与低分辨率无人机航拍图像之间的偏差的低分辨率遥感卫星图像，将该低分辨率遥感卫星图像输入所述图像分辨率提升模型后，便可获得高分辨率的遥感卫星图像。
如图3所示，图3为在一个示例性的实施例中的风格变换模型的结构示意图，本实施例优选采用CycleGan的网络架构，包括第一生成器Gx、第二生成器Gy、第一判别器Dx和第二判别器Dy，其中，所述第一生成器Gx用于将所述遥感卫星图像向所述低分辨率无人机航拍图像转换，所述第二生成器Gy用于将所述低分辨率无人机航拍图像向所述遥感卫星图像转换，所述第一判别器Dx为所述遥感卫星图像数据域的判别式，所述第二判别器Dy为所述无人机航拍图像数据域的判别式。
具体的，风格变换模型的输入是遥感卫星图像的一份256x256的切片输入，输出是同等大小的256x256的图片，X代表遥感卫星图像的数据域，Gx函数代表X->Y转换函数，主要完成遥感卫星图像向低分辨率的无人机航拍图像的转换。Y代表无人机航拍数据，Gy函数代表Y->X转换函数，主要完成无人机航拍图像向遥感卫星图像的转换。Dx和Dy分别是遥感卫星数据域和无人机航拍数据域的判别式，主要为生成函数提供图像真假的判别信息。
如图4和图5所示，生成器网络和判别器网络采用卷积神经网络操作，其中，生成器网络采用全卷积操作，conv代表卷积操作，k代表卷积核的大小，n代表卷积核的个数，S代表滑窗的步伐的大小，BN代表归一化操作batch normalization。生成网络中block块仿照残差网络引入了短路链接shortcut，保证了生成网络的表达能力。激活函数全部采用LeakyReLU，slope等于0.2。
在一个示例性的实施例中，所述风格变换模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA0002334268070000091
的公式为：
Figure BDA0002334268070000092
为了保证对抗网络训练的稳定性，本申请实施例的对抗损失函数采用了LSGAN中的最小二乘损失函数，而没有采用对数似然估计损失函数negative log-likelihood，N代表一个批次下训练的图片样本的个数，xi代表训练批次里的某一张遥感卫星图像的切片图片，Gx代表X->Y转换的生成网络，Dy代表无人机航拍图像的数据域的判别网络。通过不断迭代优化，将模型
Figure BDA0002334268070000093
损失至反向转播给Gx，让Gx逐渐将遥感卫星图像转换成无人机航拍图像。
所述循环一致性约束损失函数
Figure BDA0002334268070000094
的公式为：
Figure BDA0002334268070000095
为了约束Gx映射空间，防止生成网络生成的结果和输入的结果无任何关联，需要添加循环一致性损失，保证转换后的遥感卫星数据和转换之前不会出现大的差异。循环一致性损失需要先将遥感卫星图像输入Gx生成网络，转换成无人机航拍图像后再输入到Gy生成网络，将刚刚转换好的无人机航拍图像再转会到遥感卫星图像的数据域中，通过均方误差来约束两张遥感卫星图片的数据的一致性。具体公式如下所示，其中N代表一个批次下训练的图片样本的个数，xi代表训练批次里的某一张遥感卫星图像的切片图片，Gx代表X->Y转换的生成网络，Gy代表Y->X转换的生成网络。
所述对等约束损失函数
Figure BDA0002334268070000096
的公式为：
Figure BDA0002334268070000097
为了保持转换前后图片的颜色扰动的稳定性，需要给模型添加对等损失约束，保证转换前后颜色的一致性。损失函数使用平均绝对值误差，具体函数如下所示，其中N代表一个批次下训练的图片样本的个数，yi代表训练批次里的某一个降采样后的无人机航拍数据，Gx代表X->Y转换的生成网络。
所述总变分损失函数
Figure BDA0002334268070000101
的公式为：
Figure BDA0002334268070000102
为了改善模型生成图片的平滑性，这里添加了总变分损失函数，作为额外的正则项，抑制图片水平方向和垂直方向上像素的变换强度，从而达到移除图片中的噪声，平滑图像的目的。函数如下所示，其中N代表一个批次下训练的图片样本的个数，Gx代表X->Y转换的生成网络，
Figure BDA0002334268070000103
代表图片水平方向上的梯度，
Figure BDA0002334268070000104
代表图片垂直方向上的梯度。
则所述风格变换模型的损失函数
Figure BDA0002334268070000105
的公式为：
Figure BDA0002334268070000106
最终，整个风格变换模型损失值由上述四个损失值累计而成，后三个分量的损失值前添加权重系数，控制正则项在整个损失值中的比重，尽量保证各个分量的损失值在同一个量纲附近。其中，w1、w2和w3为权重系数。
风格变换模型的输入使用遥感卫星数据和降采样后的无人机航拍数据，批次大小为32张切片。对输入的数据做随机旋转，翻转数据增广变换。模型采用上一节描述的损失函数，w1设置为20，w2设置为10，w3设置为0.8，使用Adam优化器β1设置为0.5，β2设置为0.999，∈设置成10，初始学习率lr设置为8×10-4，迭代2000后，lr缩小一倍。训练64个epoch使模型逐步收敛。
如图6所示，图6为在一个示例性的实施例中的图像分辨率提升模型的结构示意图，本实施例的图像分辨率提升模型包括分辨率提升主干网络、第三生成器Gz和第三判别器Dz，其中，所述分辨率提升主干网络用于提升风格变换后的遥感卫星图像的分辨率，所述第三生成器Gz用于将所述无人机航拍图像向所述风格变换后的遥感卫星图像转换，所述第三判别器Dz为所述无人机航拍图像数据域的判别式。
优选的，在本申请实施例中，主干网络采用WDSR模型。本步骤主要是用来提升遥感卫星的空间分辨率，模型的输入是经过风格转换的遥感卫星图像，图片大小为256x256，输出是经过像素提升的遥感卫星图片，图像分辨率大小的512x512的图片。
Y代表转换过后遥感卫星图像的数据域，WDSR为分辨率提升主干网络，主要完成对转换后遥感卫星图像的分辨率的提升。Gz函数代表Z->X转换函数，主要完成高分辨率图像向低分辨率遥感卫星图像的转换。Dz是高分辨率无人机航拍数据域的判别式，主要为生成高分辨率的遥感卫星图像提供物体的纹理细节信息。
如图7和图8所示，WDSR除了使用残差结构将网络深度加速以外，加深了Relu激活函数的通道的“厚度”，让图像的重构能够更加有效的利用底层的特征信息，帮助网络更好的恢复出高分辨率图像的细节信息。WDSR网络的主要结构如下图所示，图中的长方块代表卷积操作，网络上面的通路只要用来学习残差值，图像通过亚像素卷积(Pixel Shuffle)进行放大，WDSR网络中残差块采用了WDSR-B的结构。
在一个示例性的实施例中，所述图像分辨率提升模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA0002334268070000111
的公式为：
Figure BDA0002334268070000112
对抗损失的函数采用了LSGAN中的最小二乘损失函数，WDSR代表图像分辨率提升模型。
所述循环一致性约束损失函数
Figure BDA0002334268070000113
的公式为：
Figure BDA0002334268070000114
所述对等约束损失函数
Figure BDA0002334268070000115
的公式为：
Figure BDA0002334268070000116
所述总变分损失函数
Figure BDA0002334268070000117
的公式为：
Figure BDA0002334268070000118
其中，yi代表训练批次里的某一个降采样后的无人机航拍图像；zi代表高分辨率的无人机航拍图片；
Figure BDA0002334268070000119
代表图像水平方向上的梯度，
Figure BDA00023342680700001110
代表图像垂直方向上的梯度，WDSR代表图像分辨率提升模型；
则所述图像分辨率提升模型的损失函数的公式为：
Figure BDA00023342680700001111
其中，λ1、λ2和λ3为权重系数。可以分别设置成10，5，1。优化器，学习率设置跟风格变换模型训练保持一致。模型训练交替进行，使用上述完成Gx和Gy模型的优化，以及完成WDSR和Gx，Gz模型的优化。
将上述训练好的模型导出，剪支，量化，输入低分辨率的遥感卫星影像块后，可以输出高分辨率图像影像块。考虑到模型处理的效率，可以将模型在生产环境部署多个实例，加快并行的效率，提高系统的吞吐。
通过本方法提升过超分辨率的图像可以进一步输入到其他的深度学习模型中，完成河道线，道路，车辆等小微物体的检测。
在本申请实施例中，通过风格变换模型，将低分辨率的遥感卫星图像转换为接近于无人机航拍图像，从而减小低分辨率遥感卫星图像相对于无人机航拍图像的光照强度、角度、色彩、云层等偏差，并进一步将变换后的低分辨率遥感卫星图像通过图像分辨率提升模型，得到高分辨率的消除了光照强度、角度、色彩、云层等偏差影响的无人机航拍风格的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
与前述基于无人机航拍数据的遥感卫星超分辨率实现方法相对应，本申请实施例还提供一种基于无人机航拍数据的遥感卫星超分辨率实现装置，所述装置可以是安装于任何智能终端，例如，可以具体为计算机、服务器，分析设备等。本申请实施例的基于无人机航拍数据的遥感卫星超分辨率实现装置，通过风格变换模型，将低分辨率的遥感卫星图像转换为接近于无人机航拍图像，从而减小低分辨率遥感卫星图像相对于无人机航拍图像的光照强度、角度、色彩、云层等偏差，并进一步将变换后的低分辨率遥感卫星图像通过图像分辨率提升模型，得到高分辨率的消除了光照强度、角度、色彩、云层等偏差影响的无人机航拍风格的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
如图9所示，在一个示例性的实施例中，所述基于无人机航拍数据的遥感卫星超分辨率实现装置900包括：
图像获取模块901，用于获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率；
采样模块902，用于对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像；
风格变换模型训练模块903，用于将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型；
分辨率提升模型训练模块904，用于将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型；
风格变换模块905，用于将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；
分辨率提升模块906，用于将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
在一个示例性的实施例中，所述风格变换模型采用CycleGAN框架，包括第一生成器Gx、第二生成器Gy、第一判别器Dx和第二判别器Dy，其中，所述第一生成器Gx用于将所述遥感卫星图像向所述低分辨率无人机航拍图像转换，所述第二生成器Gy用于将所述低分辨率无人机航拍图像向所述遥感卫星图像转换，所述第一判别器Dx为所述遥感卫星图像数据域的判别式，所述第二判别器Dy为所述无人机航拍图像数据域的判别式。
在一个示例性的实施例中，所述风格变换模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA0002334268070000131
的公式为：
Figure BDA0002334268070000132
所述循环一致性约束损失函数
Figure BDA0002334268070000133
的公式为：
Figure BDA0002334268070000134
所述对等约束损失函数
Figure BDA0002334268070000135
的公式为：
Figure BDA0002334268070000136
所述总变分损失函数
Figure BDA0002334268070000137
的公式为：
Figure BDA0002334268070000138
其中，N代表一个批次下训练的图片样本的个数，xi代表训练批次里的某一张遥感卫星数据的切片图像；yi代表训练批次里的某一个降采样后的无人机航拍图像；
Figure BDA0002334268070000139
代表图像水平方向上的梯度，
Figure BDA00023342680700001310
代表图像垂直方向上的梯度；
则所述风格变换模型的损失函数
Figure BDA00023342680700001311
的公式为：
Figure BDA00023342680700001312
其中，w1、w2和w3为权重系数。
在一个示例性的实施例中，所述图像分辨率提升模型包括分辨率提升主干网络、第三生成器Gz和第三判别器Dz，其中，所述分辨率提升主干网络用于提升风格变换后的遥感卫星图像的分辨率，所述第三生成器Gz用于将所述无人机航拍图像向所述风格变换后的遥感卫星图像转换，所述第三判别器Dz为所述无人机航拍图像数据域的判别式。
在一个示例性的实施例中，所述图像分辨率提升模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数
Figure BDA0002334268070000141
的公式为：
Figure BDA0002334268070000142
所述循环一致性约束损失函数
Figure BDA0002334268070000143
的公式为：
Figure BDA0002334268070000144
所述对等约束损失函数
Figure BDA0002334268070000145
的公式为：
Figure BDA0002334268070000146
所述总变分损失函数
Figure BDA0002334268070000147
的公式为：
Figure BDA0002334268070000148
其中，yi代表训练批次里的某一个降采样后的无人机航拍图像；zi代表高分辨率的无人机航拍图片；
Figure BDA0002334268070000149
代表图像水平方向上的梯度，
Figure BDA00023342680700001410
代表图像垂直方向上的梯度；
则所述图像分辨率提升模型的损失函数
Figure BDA00023342680700001411
的公式为：
Figure BDA00023342680700001412
其中，λ1、λ2和λ3为权重系数。
在一个示例性的实施例中，所述提升主干网络为WDSR网络。
在一个示例性的实施例中，还包括切割模块，用于将所述遥感卫星图像和所述低分辨率无人机航拍图像按照相同的分辨率大小，切割为多个图片块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
与前述基于无人机航拍数据的遥感卫星超分辨率实现方法相对应，本申请实施例还提供一种基于无人机航拍数据的遥感卫星超分辨率实现装置应用的电子设备，所述基于无人机航拍数据的遥感卫星超分辨率实现设备可以具体为计算机、手机、平板电脑等。所述电子设备通过风格变换模型，将低分辨率的遥感卫星图像转换为接近于无人机航拍图像，从而减小低分辨率遥感卫星图像相对于无人机航拍图像的光照强度、角度、色彩、云层等偏差，并进一步将变换后的低分辨率遥感卫星图像通过图像分辨率提升模型，得到高分辨率的消除了光照强度、角度、色彩、云层等偏差影响的无人机航拍风格的遥感卫星图像，从而可以提升遥感卫星图片的分辨率，实现利用低分辨率的遥感卫星图像对微小物体的检测。
如图10所示，图10是本申请实施例根据一示例性实施例示出的一种电子设备的结构框图。
该电子设备包括：处理器1200、存储器1201、具有触摸功能的显示屏1202、输入装置1203、输出装置1204以及通信装置1205。该电子设备中处理器1200的数量可以是一个或者多个，图10中以一个处理器1200为例。该电子设备中存储器1201的数量可以是一个或者多个，图10中以一个存储器1201为例。该电子设备的处理器1200、存储器1201、显示屏1202、输入装置1203、输出装置1204以及通信装置1205可以通过总线或者其他方式连接，图10中以通过总线连接为例。实施例中，电子设备可以是计算机、手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、电子书阅读器、多媒体播放器等。本申请实施例中，以电子设备为计算机为例，进行描述。
存储器1201作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例任意实施例所述的基于无人机航拍数据的遥感卫星超分辨率实现方法程序，以及本申请实施例任意实施例所述的基于无人机航拍数据的遥感卫星超分辨率实现方法对应的程序指令/模块。存储器1201可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器1201可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1201可进一步包括相对于处理器1200远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏1202可为具有触摸功能的显示屏，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏1202用于根据处理器1200的指示显示数据，还用于接收作用于显示屏1202的触摸操作，并将相应的信号发送至处理器1200或其他装置。可选的，当显示屏1202为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏1202的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器1200或者其他设备。在其他例子中，显示屏1202也可为不具有触摸功能的显示屏。
通信装置1205，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置1203可用于接收输入的数字或者字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置1204可以包括扬声器等音频设备。需要说明的是，输入装置1203和输出装置1204的具体组成可以根据实际情况设定。
处理器1200通过运行存储在存储器1201中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述任一实施例所记载的基于无人机航拍数据的遥感卫星超分辨率实现方法。
上述设备中各个组件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。上述提供的电子设备可用于执行上述任意实施例提供的资源调用方法，具备相应的功能和有益效果。上述设备中各个组件的功能和作用的实现过程具体详见上述资源调用方法中对应步骤的实现过程，在此不再赘述。
本发明还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任意一项所述的基于无人机航拍数据的遥感卫星超分辨率实现方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其它数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其它内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其它光学存储、磁盒式磁带，磁带磁磁盘存储或其它磁性存储设备或任何其它非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请实施例的其它实施方案。本申请实施例旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请实施例的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
以上所述实施例仅表达了本申请实施例的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请实施例构思的前提下，还可以做出若干变形和改进，这些都属于本申请实施例的保护范围。

Claims (8)

1.一种基于无人机航拍数据的遥感卫星超分辨率实现方法，其特征在于，包括如下步骤：
获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率；无人机航拍镜头的拍摄角度与遥感卫星角度一致；所述无人机航拍图像由多次无人机航拍的图像拼接而成；
对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像；
将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型，其中，所述风格变换模型为对抗网络模型，所述风格变换模型用于减小所述遥感卫星图像与所述低分辨率无人机航拍图像之间由于拍摄条件不同所造成的偏差；
将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型，其中，所述图像分辨率提升模型用于提高所述风格变换后的遥感卫星图像的分辨率；所述图像分辨率提升模型包括分辨率提升主干网络、第三生成器Gz和第三判别器Dz，其中，所述分辨率提升主干网络用于提升风格变换后的遥感卫星图像的分辨率，所述第三生成器Gz用于将所述无人机航拍图像向所述风格变换后的遥感卫星图像转换，所述第三判别器Dz为所述无人机航拍图像数据域的判别式；所述图像分辨率提升模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数的公式为：
Figure DEST_PATH_IMAGE002
所述循环一致性约束损失函数的公式为：
Figure DEST_PATH_IMAGE004
所述对等约束损失函数的公式为：
Figure DEST_PATH_IMAGE006
所述总变分损失函数的公式为：
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE010
代表训练批次里的某一个降采样后的无人机航拍图像；
Figure DEST_PATH_IMAGE012
代表高分辨率的无人机航拍图片； ∇h代表图像水平方向上的梯度，∇w代表图像垂直方向上的梯度；Gx为第一生成器；Gy为第二生成器；Dx为第一判别器；Dy为第二判别器；
则所述图像分辨率提升模型的损失函数的公式为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE020
为权重系数；
将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；
将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
2.根据权利要求1所述的基于无人机航拍数据的遥感卫星超分辨率实现方法，其特征在于：
所述风格变换模型采用CycleGAN 框架，包括第一生成器Gx、第二生成器Gy、第一判别器Dx和第二判别器Dy，其中，所述第一生成器Gx用于将所述遥感卫星图像向所述低分辨率无人机航拍图像转换，所述第二生成器Gy用于将所述低分辨率无人机航拍图像向所述遥感卫星图像转换，所述第一判别器Dx为所述遥感卫星图像数据域的判别式，所述第二判别器Dy为所述无人机航拍图像数据域的判别式。
3.根据权利要求2所述的基于无人机航拍数据的遥感卫星超分辨率实现方法，其特征在于：
所述风格变换模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数的公式为：
Figure DEST_PATH_IMAGE022
所述循环一致性约束损失函数的公式为：
Figure DEST_PATH_IMAGE024
所述对等约束损失函数的公式为：
Figure DEST_PATH_IMAGE026
所述总变分损失函数的公式为：
Figure DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE030
代表训练批次里的某一张遥感卫星数据的切片图像；
Figure 520565DEST_PATH_IMAGE010
代表训练批次里的某一个降采样后的无人机航拍图像；∇h代表图像水平方向上的梯度，∇w代表图像垂直方向上的梯度；
则所述风格变换模型的损失函数的公式为：
Figure DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE034
、
Figure DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE038
为权重系数。
4.根据权利要求1所述的基于无人机航拍数据的遥感卫星超分辨率实现方法，其特征在于：
所述提升主干网络为WDSR网络。
5.根据权利要求1所述的基于无人机航拍数据的遥感卫星超分辨率实现方法，其特征在于，将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型前，还包括如下步骤：
将所述遥感卫星图像和所述低分辨率无人机航拍图像按照相同的分辨率大小，切割为多个图片块。
6.一种基于无人机航拍数据的遥感卫星超分辨率实现装置，其特征在于，所述装置包括：
图像获取模块，用于获取指定区域的遥感卫星图像和无人机航拍图像，其中，所述无人机航拍图像的分辨率高于所述遥感卫星图像的分辨率；无人机航拍镜头的拍摄角度与遥感卫星角度一致；所述无人机航拍图像由多次无人机航拍的图像拼接而成；
采样模块，用于对所述无人机航拍图像进行分辨率降采样，获取与所述遥感卫星图像分辨率相同的低分辨率无人机航拍图像；
风格变换模型训练模块，用于将所述遥感卫星图像和所述低分辨率无人机航拍图像输入风格变换模型，以训练所述风格变换模型，其中，所述风格变换模型为对抗网络模型，所述风格变换模型用于减小所述遥感卫星图像与所述低分辨率无人机航拍图像之间由于拍摄条件不同所造成的偏差；
分辨率提升模型训练模块，用于将所述对抗网络模型输出的风格变换后的遥感卫星图像和所述无人机航拍图像输入图像分辨率提升模型，以训练所述图像分辨率提升模型，其中，所述图像分辨率提升模型用于提高所述风格变换后的遥感卫星图像的分辨率；所述图像分辨率提升模型包括分辨率提升主干网络、第三生成器Gz和第三判别器Dz，其中，所述分辨率提升主干网络用于提升风格变换后的遥感卫星图像的分辨率，所述第三生成器Gz用于将所述无人机航拍图像向所述风格变换后的遥感卫星图像转换，所述第三判别器Dz为所述无人机航拍图像数据域的判别式；所述图像分辨率提升模型的损失函数包括对抗损失函数、循环一致性约束损失函数、对等约束损失函数和总变分损失函数；
所述对抗损失函数的公式为：
Figure DEST_PATH_IMAGE002A
所述循环一致性约束损失函数的公式为：
Figure DEST_PATH_IMAGE004A
所述对等约束损失函数的公式为：
Figure DEST_PATH_IMAGE006A
所述总变分损失函数的公式为：
Figure DEST_PATH_IMAGE008A
其中，
Figure 359077DEST_PATH_IMAGE010
代表训练批次里的某一个降采样后的无人机航拍图像；
Figure 669973DEST_PATH_IMAGE012
代表高分辨率的无人机航拍图片； ∇h代表图像水平方向上的梯度，∇w代表图像垂直方向上的梯度；Gx为第一生成器；Gy为第二生成器；Dx为第一判别器；Dy为第二判别器；
则所述图像分辨率提升模型的损失函数的公式为：
Figure DEST_PATH_IMAGE014A
其中，
Figure 910855DEST_PATH_IMAGE016
、
Figure 256385DEST_PATH_IMAGE018
和
Figure 360739DEST_PATH_IMAGE020
为权重系数；
风格变换模块，用于将待测区域的低分辨率遥感卫星图像输入训练后的所述风格变换模型中，获得风格变换后待测区域的低分辨率遥感卫星图像；
分辨率提升模块，用于将所述风格变换后待测区域的低分辨率遥感卫星图像输入训练后的图像分辨率提升模型，获得所述待测区域的高分辨率遥感卫星图像。
7.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一所述的基于无人机航拍数据的遥感卫星超分辨率实现方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201911349278.9A 2019-12-24 2019-12-24 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质 Active CN111179172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349278.9A CN111179172B (zh) 2019-12-24 2019-12-24 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349278.9A CN111179172B (zh) 2019-12-24 2019-12-24 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111179172A CN111179172A (zh) 2020-05-19
CN111179172B true CN111179172B (zh) 2021-11-02

Family

ID=70655692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349278.9A Active CN111179172B (zh) 2019-12-24 2019-12-24 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111179172B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763241B (zh) * 2020-11-19 2022-08-16 四川大学 一种基于相似图像引导的深度自学习图像超分辨率方法
CN113313691A (zh) * 2021-06-03 2021-08-27 上海市第一人民医院 一种基于深度学习的甲状腺彩超处理方法
CN113643183B (zh) * 2021-10-14 2021-12-21 湖南大学 非匹配遥感图像弱监督学习超分辨率重建方法及系统
CN114662129B (zh) * 2022-03-25 2023-11-14 中国电信股份有限公司 数据分片安全评估方法、装置、存储介质及电子设备
DE102022129471A1 (de) * 2022-11-08 2024-05-08 Ternow GmbH Auflösungsverbesserung von satelliten- und luftbildern unter verwendung von maschinellem lernen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109859107A (zh) * 2019-02-12 2019-06-07 广东工业大学 遥感图像超分辨率方法、装置、设备及可读存储介质
CN110473142A (zh) * 2019-05-22 2019-11-19 南京理工大学 基于深度学习的单幅图像超分辨率重建方法
CN110533580A (zh) * 2019-08-08 2019-12-03 西安交通大学 一种基于对抗生成神经网络的图像风格迁移方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030152292A1 (en) * 2001-12-17 2003-08-14 Scott Walter S. System, method, and apparatus for satellite remote sensing
US10650495B2 (en) * 2018-06-04 2020-05-12 Adobe Inc. High resolution style transfer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统
CN109859107A (zh) * 2019-02-12 2019-06-07 广东工业大学 遥感图像超分辨率方法、装置、设备及可读存储介质
CN110473142A (zh) * 2019-05-22 2019-11-19 南京理工大学 基于深度学习的单幅图像超分辨率重建方法
CN110533580A (zh) * 2019-08-08 2019-12-03 西安交通大学 一种基于对抗生成神经网络的图像风格迁移方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于生成对抗网络的图像翻译;侯学东;《中国优秀硕士学位论文全文数据库》;20190215(第2期);第15-16页第3.3.1部分 *
基于生成式对抗网络的声呐和雷达图像增强方法;张文武;《中国优秀硕士学位论文全文数据库》;20190915(第9期);第12页第2.2部分-第29页第3.2部分 *
张文武.基于生成式对抗网络的声呐和雷达图像增强方法.《中国优秀硕士学位论文全文数据库》.2019,(第9期),第12-29页. *

Also Published As

Publication number Publication date
CN111179172A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179172B (zh) 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
Chierchia et al. A nonlocal structure tensor-based approach for multicomponent image recovery problems
Zhao et al. Pyramid global context network for image dehazing
CN111986084B (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN109859120B (zh) 基于多尺度残差网络的图像去雾方法
CN109447930B (zh) 小波域光场全聚焦图像生成算法
US11416970B2 (en) Panoramic image construction based on images captured by rotating imager
CN104184965A (zh) 从像素阵列读取像素数据的方法及成像系统
CN102982520A (zh) 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN108154493B (zh) 一种基于fpga的双波段红外图像伪彩融合算法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
WO2020036782A2 (en) Methods and systems for object recognition in low illumination conditions
CN113139902A (zh) 一种高光谱图像超分辨率重建方法、装置及电子设备
CN113222825A (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN112651911A (zh) 一种基于偏振图像的高动态范围成像生成方法
CN102222321A (zh) 一种视频序列盲重建方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN111127321B (zh) 遥感卫星分辨率提升方法、装置、电子设备及存储介质
KR101585963B1 (ko) 이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템
CN105528772A (zh) 一种基于指导性滤波的图像融合方法
CN112258394B (zh) 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质
CN113744152A (zh) 一种潮水图像去噪处理方法、终端及计算机可读存储介质
Ali et al. A comparative study of various image dehazing techniques
CN102667853A (zh) 用于二进制传感器的滤光片设置学习

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant