CN112541876A - 卫星图像处理方法、网络训练方法、相关装置及电子设备 - Google Patents

卫星图像处理方法、网络训练方法、相关装置及电子设备 Download PDF

Info

Publication number
CN112541876A
CN112541876A CN202011478534.7A CN202011478534A CN112541876A CN 112541876 A CN112541876 A CN 112541876A CN 202011478534 A CN202011478534 A CN 202011478534A CN 112541876 A CN112541876 A CN 112541876A
Authority
CN
China
Prior art keywords
image
satellite
satellite image
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011478534.7A
Other languages
English (en)
Other versions
CN112541876B (zh
Inventor
何栋梁
张赫男
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011478534.7A priority Critical patent/CN112541876B/zh
Publication of CN112541876A publication Critical patent/CN112541876A/zh
Priority to EP21177056.5A priority patent/EP3879484A3/en
Priority to US17/335,647 priority patent/US11810310B2/en
Application granted granted Critical
Publication of CN112541876B publication Critical patent/CN112541876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了卫星图像处理方法、网络训练方法、相关装置及电子设备，涉及计算机视觉和深度学习技术等人工智能领域。具体实现方案为：获取第一目标卫星图像；基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。根据本申请的技术，解决了卫星图像处理技术中存在的卫星图像质量增强效果比较差的问题，提高了卫星图像的质量增强效果。

Description

卫星图像处理方法、网络训练方法、相关装置及电子设备
技术领域
本申请涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，具体涉及一种卫星图像处理方法、网络训练方法、相关装置及电子设备。
背景技术
卫星图像通常是通过地球卫星的成像系统，对地球表面进行拍摄而成，其在地图和导航等产品中有着重要的应用价值。
由于地球大气环境、天气环境以及光照环境等影响，卫星图像经常出现有雾霭遮掩、亮度以及对比度等画质方面的问题。目前，可以通过对卫星图像进行单一维度的处理，以增强卫星图像的质量。
发明内容
本公开提供了一种卫星图像处理方法、网络训练方法、相关装置及电子设备。
根据本公开的第一方面，提供了一种卫星图像处理方法，包括：
获取第一目标卫星图像；
基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；
基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
根据本公开的第二方面，提供了一种网络训练方法，包括：
获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
基于所述差异信息更新所述目标神经网络的参数。
根据本公开的第三方面，提供了一种卫星图像处理装置，包括：
第一获取模块，用于获取第一目标卫星图像；
去雾处理模块，用于基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；
画质参数调节模块，用于基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
根据本公开的第四方面，提供了一种网络训练装置，包括：
第二获取模块，用于获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
特征提取模块，用于基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
确定模块，用于确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
更新模块，用于基于所述差异信息更新所述目标神经网络的参数。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。
根据本公开的第七方面，提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，所述电子设备能够执行第一方面中的任一项方法，或者执行第二方面中的任一项方法。
根据本申请的技术解决了卫星图像处理技术中存在的卫星图像质量增强效果比较差的问题，提高了卫星图像的质量增强效果。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的卫星图像处理方法的流程示意图；
图2是不同卫星图像的重叠示意图；
图3是基于神经网络实现卫星图像处理方法的框架示意图；
图4是通过U型神经网络实现卫星图像处理方法的框架示意图；
图5是两个卫星图像拼接后的块效应显示示意图；
图6是待处理卫星图像和与其相邻的卫星图像的扩展示意图；
图7是扩展的待处理卫星图像和与其相邻的卫星图像进行质量增强后的输出示意图；
图8是根据本申请第二实施例的网络训练方法的流程示意图；
图9是根据本申请第三实施例的卫星图像处理装置的结构示意图；
图10是根据本申请第四实施例的网络训练装置的结构示意图；
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
如图1所示，本申请提供一种卫星图像处理方法，包括如下步骤：
步骤S101：获取第一目标卫星图像。
本实施例中，卫星图像处理方法涉及计算机视觉和深度学习等人工智能技术领域，其可以广泛应用于地图和导航等诸多场景。该卫星图像处理方法可以应用于电子设备，该电子设备可以为服务器，也可以为终端，这里不做具体限定。
卫星图像指的是由地球卫星的成像系统对地球表面进行拍摄而成的图像。其中，地球卫星的成像系统可以对地球表面的局部位置进行拍摄，得到多个地球表面不同位置的卫星图像。
由于地球表面是连续的，不同的拍摄，其拍摄的部分内容可能存在相同，比如，地球表面的一个村庄与一条河流相邻，在拍摄地球表面的村庄位置时，可能会拍摄到与其相邻的河流，而在拍摄地球表面的河流位置时，其可能会拍摄到与其相邻的村庄。相应的，拍摄到的不同卫星图像中，其图像内容可以存在重叠，并且尺寸大小可以不定。
地球卫星的成像系统所拍摄而成的卫星图像也可以根据使用需求，被切分成多个卫星图像，这些被切分而成的卫星图像与其被切分而成的相邻的卫星图像之间的边缘会存在重叠。
其中，本申请实施例中提到的重叠可以指的是不同卫星图像的边缘之间存在相同的图像内容，也可以指的是不同卫星图像的边缘可以通过拼接，构成一个表征地球表面相应位置的完整图像。
参见图2，图2是不同卫星图像的重叠示意图，如图2所示，实体框201表征卫星图像A，实体框202表征卫星图像B，实体框203表征卫星图像C，实体框201中的框体内容表征卫星图像A的内容，实体框202中的框体内容表征卫星图像B的内容，实体框203中的框体内容表征卫星图像C的内容。
可以看出，实体框201和实体框202存在重叠，即卫星图像A的下边缘和卫星图像B的上边缘存在相同的图像内容，而卫星图像A可以与其右边缘相邻的卫星图像C拼接成一个表征地球表面相应位置的完整图像。
所述第一目标卫星图像可以仅包括一个由地球卫星的成像系统所拍摄而成的卫星图像，也可以仅包括由地球卫星的成像系统所拍摄而成的卫星图像被切分而成的一个卫星图像，所述第一目标卫星图像还可以由多个边缘存在重叠的卫星图像拼接而成，这里不做具体限定。
所述第一目标卫星图像的获取方式可以包括多种，比如，若所述第一目标卫星图像仅包括一个卫星图像，可以从图像库中获取任一个卫星图像作为第一目标卫星图像，其中，图像库中可以预先存储多个卫星图像，也可以接收地球卫星的成像系统所发送的卫星图像作为第一目标卫星图像，还可以从网络上获取一个卫星图像作为第一目标卫星图像，或者获取其他设备发送的卫星图像作为第一目标卫星图像。
又比如，若所述第一目标卫星图像由多个边缘存在重叠的卫星图像拼接而成，其中，多个卫星图像拼接而成的第一目标卫星图像中包括一个待处理卫星图像，该待处理卫星图像即是需要进行质量增强的卫星图像。
此时，可以首先获取待处理卫星图像，并基于待处理卫星图像获取至少一个可以与待处理卫星图像拼接的卫星图像，将待处理卫星图像与其他的卫星图像进行拼接，得到第一目标卫星图像。其中，所述待处理卫星图像可以为需要进行图像处理的卫星图像。
可以根据图像识别技术识别与待处理卫星图像存在内容重叠的卫星图像，这些卫星图像即是可以与待处理卫星图像拼接的卫星图像。
也可以根据待处理卫星图像的图像标号识别与待处理卫星图像拼接的卫星图像，其中，在卫星图像被切分时，可以将被切分成一个一个的卫星图像进行标号，以标记卫星图像在拍摄的完整卫星图像中的位置，如图像标号为1的卫星图像可以为拍摄的完整卫星图像中最左上角位置的卫星图像。相应的，获取图像标号表征为待处理卫星图像相邻的卫星图像，这些卫星图像即是可以与待处理卫星图像拼接的卫星图像，如待处理卫星图像的图像标号为5，图像标号为4的卫星图像为待处理卫星图像左边相邻的卫星图像，可以与其进行拼接，而图像标号为6的卫星图像为待处理卫星图像右边相邻的卫星图像，也可以与其进行拼接。
还可以根据待处理卫星图像对应的位置坐标识别与待处理卫星图像拼接的卫星图像。其中，卫星图像通常可以对应多个位置坐标，其位置坐标可以为经纬度坐标，其表征拍摄的是该位置坐标对应位置的地球表面。在两个卫星图像对应有相同的位置坐标时，可以确定这两个卫星图像中存在相同的图像内容。此时，可以基于待处理卫星图像对应的位置坐标，从图像库中获取包括所述待处理卫星图像对应的位置坐标的卫星图像，这些卫星图像即是可以与待处理卫星图像拼接的卫星图像。
步骤S102：基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像。
参见图3，图3是基于神经网络实现卫星图像处理方法的框架示意图，如图3所示，可以采用两个阶段对第一目标卫星图像进行处理，第一阶段可以为基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像。
其中，所述第一神经网络可以为卷积神经网络，比如为U型神经网络，参见图4，图4是通过U型神经网络实现卫星图像处理方法的框架示意图，如图4所示，U型神经网络由U型编码器-解码器的结构组成，其包括多个编码器和解码器。
在U型编码器-解码器的结构中，训练输入卫星图像可以经过一个残差连接(如图4中的+)，将训练输入卫星图像逐像素添加到输出上，而卷积层和反卷积层负责残差学习，直至输出图像与训练输出卫星图像的残差达到最小，此时，第一神经网络训练完成。
其中，为了基于第一神经网络对所述第一目标卫星图像进行去雾处理，在训练时，第一神经网络的训练输入卫星图像通常为带雾的卫星图像，而训练输出卫星图像为去雾的卫星图像，即输出图像的透明度通常要高于输入图像，以实现对第一神经网络的输入图像的去雾处理。
具体的，可以基于第一神经网络对第一目标卫星图像进行特征提取，得到第一目标特征，并基于第一目标特征和第一目标卫星图像进行图像重构，得到第一卫星图像。其中，可以采用残差连接模块将表征所述第一目标特征的特征图和第一目标卫星图像进行残差连接，得到第一卫星图像。
为了更加充分地对第一目标卫星图像进行特征提取，在进行特征提取时，可以基于多个卷积层采用下采样的方式依次特征提取，以得到第一目标卫星图像的多层特征，且随着网络的加深，下一层卷积层的输出相对于上一层卷积层的输出，其输出的特征可以称之为深层特征。
将深层特征基于反卷积层采用上采样的方式进行特征重构之后，将重构后的特征与上一层的浅层特征进行信息融合，依次拼接之后，最终得到第一目标特征。
可以在编码器和解码器之间设计一条直连通路，把编码器的浅层特征通过一个拼接操作(如图4中的c)引入到解码器中进行信息融合。
步骤S103：基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
如图3所示，采用两个阶段对第一目标卫星图像进行处理的第二阶段可以为基于第二神经网络对所述第一神经网络输出的第一卫星图像的画质参数进行智能调节，得到第二卫星图像。
其中，所述第二神经网络也可以为卷积神经网络，比如，也可以为U型神经网络，如图4所示，整个框架包括两个U型神经网络。
所述画质参数可以指的是表征图像画质视觉的参数，如色彩饱和度、对比度和亮度等参数。
为了基于第二神经网络对所述第一卫星图像的画质参数进行智能地调节，在训练时，第二神经网络的训练输出卫星图像通常为对训练输入卫星图像的画质参数(如色彩饱和度、对比度和亮度等)进行调节后的卫星图像，以实现对第二神经网络的输入图像的画质参数进行智能地调节。
具体的，可以基于第二神经网络对第一卫星图像进行特征提取，得到第二目标特征，并基于第二目标特征和第一卫星图像进行图像重构，得到第二卫星图像。其中，可以采用残差连接模块将表征所述第二目标特征的特征图和第一卫星图像进行残差连接，得到第二卫星图像。
为了更加充分地对第一卫星图像进行特征提取，在进行特征提取时，也可以基于多个卷积层采用下采样的方式依次特征提取，以得到第一卫星图像的多层特征，且随着网络的加深，下一层卷积层的输出相对于上一层卷积层的输出，其输出的特征可以称之为深层特征。
将深层特征基于反卷积层采用上采样的方式进行特征重构之后，将重构后的特征与上一层的浅层特征进行信息融合，依次拼接之后，最终得到第二目标特征。
本实施例中，基于神经网络，采用两个阶段对第一目标卫星图像进行处理，通过第一阶段的第一神经网络，对卫星图像进行去雾处理，得到第一卫星图像，通过第二阶段的第二神经网络，对第一卫星图像的画质参数进行自适用调节。相对于单一维度的图像质量增强，可以提高卫星图像的质量增强效果。
并且，通过第二神经网络对第一卫星图像的画质参数进行调节，可以避免画质参数调节算法如色彩颜色增强算法在调节画质参数时，同一组画质参数很难保证相邻的卫星图像经过质量增强后衔接处能够平滑过度的缺陷。且通过第二神经网络对第一卫星图像的画质参数进行调节，一方面，可以对画质参数进行自适应调节，从而不需要额外地调节画质参数，另一方面，神经网络可以设计成比较轻量级的结构，通过神经网络的推理加速库进行质量增强，能够做到非常快的推理速度。
可选的，所述步骤S101具体包括：
将待处理卫星图像与至少一个待扩展卫星图像进行拼接，得到所述第一目标卫星图像，其中，所述至少一个待扩展卫星图像为与所述待处理卫星图像的边缘重叠的至少一个卫星图像；
所述步骤S103之后，从所述第二卫星图像中截取目标区域的卫星图像，得到所述目标区域对应的第三卫星图像；其中，所述目标区域为所述待处理卫星图像对应的区域。
由于地球卫星的成像系统所拍摄而成的卫星图像也可以根据使用需求，被切分成多个卫星图像，对各个卫星图像进行质量增强后，若需要拼接使用，在拼接之后容易在卫星图像边缘产生不一致性，带来明显的方块效果，可以称之为块效应。然而，衔接处过度不自然，很容易影响视觉体验，如图5所示。
这是因为，基于神经网络对各卫星图像进行处理时，神经网络在图像边缘所感知的图像内容不同，因此，对不同卫星图像进行处理时会存在偏差，从而使输出的卫星图像的画质参数存在偏差，进而在图像边缘产生块效应。
本实施方式中，通过将待处理卫星图像与至少一个待扩展卫星图像进行拼接，得到第一目标卫星图像，所述第一目标卫星图像为待处理卫星图像的扩展输入图像。
其中，待扩展卫星图像为与所述待处理卫星图像的边缘重叠的卫星图像。可以根据图像识别技术识别与待处理卫星图像存在内容重叠的卫星图像，这些卫星图像即是待扩展卫星图像。
也可以根据待处理卫星图像的图像标号识别待扩展卫星图像，其中，在卫星图像被切分时，可以将被切分成一个一个的卫星图像进行标号，以标记卫星图像在拍摄的完整卫星图像中的位置，如图像标号为1的卫星图像可以为拍摄的完整卫星图像中最左上角位置的卫星图像。相应的，获取图像标号表征为待处理卫星图像相邻的卫星图像，这些卫星图像即是可以与待处理卫星图像拼接的卫星图像，如待处理卫星图像的图像标号为5，图像标号为4的卫星图像为待处理卫星图像左边相邻的卫星图像，可以与其进行拼接，而图像标号为6的卫星图像为待处理卫星图像右边相邻的卫星图像，也可以与其进行拼接。
还可以根据待处理卫星图像对应的位置坐标识别待扩展卫星图像。其中，卫星图像通常可以对应多个位置坐标，其位置坐标可以为经纬度坐标，其表征拍摄的是该位置坐标对应位置的地球表面。在两个卫星图像对应有相同的位置坐标时，可以确定这两个卫星图像中存在相同的图像内容。此时，可以基于待处理卫星图像对应的位置坐标，从图像库中获取包括所述待处理卫星图像对应的位置坐标的卫星图像，这些卫星图像即是待扩展卫星图像。
所述待扩展卫星图像的数量可以根据实际情况进行设定，可以为1、2、3和4，在待扩展卫星图像的数量为1的情况下，可以根据实际情况往待处理卫星图像的一边缘方向扩展，如上、下、左或右方向。以下边缘方向为例，若待扩展卫星图像与待处理卫星图像的下边缘存在重叠，则可以将待扩展卫星图像与待处理卫星图像的下边缘拼接。
在待扩展卫星图像的数量为2的情况下，可以根据实际情况往待处理卫星图像的两个边缘方向扩展。比如，若这两个待扩展卫星图像分别与待处理卫星图像的右边缘和下边缘存在重叠，则分别将这两个待扩展卫星图像与待处理卫星图像的右边缘和下边缘拼接。
在待扩展卫星图像的数量为3的情况下，可以根据实际情况往待处理卫星图像的三个边缘方向扩展。比如，若这三个待扩展卫星图像分别与待处理卫星图像的右边缘、上边缘和下边缘存在重叠，则分别将这三个待扩展卫星图像与待处理卫星图像的右边缘、上边缘和下边缘拼接。
在待扩展卫星图像的数量为4的情况下，可以将四个待扩展卫星图像往待处理卫星图像的左右上下扩展至其周边的图像区域形成一个扩展输入图像。如图6所示，待处理卫星图像由虚线框601表示，可以将待处理卫星图像与上下左右相邻的待扩展卫星图像进行拼接，形成一个扩展输入图像，由实体框602表示。
将扩展输入图像输入至神经网络进行处理，以进行质量增强。之后，可以从第二卫星图像中将待处理卫星图像对应区域的图像内容截取出来，得到待处理卫星图像质量增强后的第三卫星图像。
而针对待处理卫星图像相邻的卫星图像，如图6所示，由虚线框603表示，也可以将其与上下左右相邻的图像区域进行拼接，形成另一个扩展输入图像，由实体框604表示。之后，也可以将该扩展输入图像输入至神经网络进行处理，以进行质量增强。
这样，对于待处理卫星图像和与其相邻的卫星图像而言，在基于神经网络进行处理时，由于在实体框602表示的卫星图像和实体框604表示的卫星图像均融合了待处理卫星图像和与其相邻的卫星图像的图像内容，因此，在对待处理卫星图像和与其相邻的卫星图像进行分别处理时，神经网络均感知到了卫星图像的周边信息，从而使得输出的卫星图像的画质参数具有较好的一致性。如图7所示，虚线框701表征的是待处理卫星图像进行质量增强后的卫星图像，虚线框702为与其相邻的卫星图像进行质量增强后的卫星图像，在分别进行质量增强后，两个卫星图像的边缘处将平滑过度，从而可以消除块效应。
第二实施例
如图8所示，本申请提供一种网络训练方法，包括如下步骤：
步骤S801：获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
步骤S802：基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
步骤S803：确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
步骤S804：基于所述差异信息更新所述目标神经网络的参数。
本实施例中，所述网络训练方法既可以用于对第一神经网络进行训练，也可以用于对第二神经网络进行训练。
在对所述第一神经网络进行训练时，所述训练图像集可以称之为第一训练图像集，在对第二神经网络进行训练时，所述训练图像集可以称之为第二训练图像集。
由于第一神经网络和第二神经网络实现的功能不同，因此，所述第一训练图像集和第二训练图像集不同。
所述第一神经网络用于对卫星图像进行去雾处理，相应的，第一训练图像集中的训练输入卫星图像包括带雾的卫星图像，而训练输出卫星图像包括去雾的卫星图像，而去雾的卫星图像的图像透明度高于带雾的卫星图像的图像透明度。
所述第二神经网络用于对卫星图像的画质参数进行调节，相应的，第二训练图像集中的训练输出卫星图像相对于训练输入卫星图像，其画质参数是经过调节后的卫星图像。
所述第一神经网络和第二神经网络可以采用有监督的训练方法，且是单独训练。针对第一神经网络，第一训练图像集可以用三集合表征，如公式(1)所示。
Figure BDA0002836582080000111
其中，N为第一训练卫星图像对的数量，第一训练卫星图像对包括第一训练输入卫星图像和第一训练输出卫星图像，xi为第一训练输入卫星图像，其为带雾的卫星图像，yi为第一训练输出卫星图像，其为去雾的卫星图像，而D1表示由N个第一训练卫星图像对组成的第一训练图像集。
第一神经网络训练时，要求第一神经网络的输出F1(xi)与yi之间的损失函数最小化。通过最小化这个损失函数，即可以训练得到第一神经网络。
而针对第二神经网络，第二训练图像集也可以用三集合表征，如公式(2)所示。
Figure BDA0002836582080000121
其中，M为第二训练卫星图像对的数量，第二训练卫星图像对包括第二训练输入卫星图像和第二训练输出卫星图像，y'j为第二训练输入卫星图像，其为第一神经网络输出的卫星图像，zj为第二训练输出卫星图像，其为第二训练输入卫星图像经过画质参数调节后的卫星图像，而D2表示由M个第二训练卫星图像对组成的第二训练图像集。
第二神经网络训练时，要求第二神经网络的输出F2(y'j)与zj之间的损失函数最小化。通过最小化这个损失函数，即可以训练得到第二神经网络。
其中，上述提到的损失函数可以采用常用的损失计算方式进行计算，包括但不限于两个卫星图像之间的L2范数或者L1范数等。
所述获取第一训练图像集合的方式可以包括多种，比如，可以获取不同天气环境下拍摄的成对的卫星图像作为第一训练图像集合，如在有雾的天气拍摄的和在无雾的天气拍摄的成对的卫星图像。又比如，可以获取无雾的卫星图像，通过雾图构造出与无雾的卫星图像成对的带雾的卫星图像。
所述获取第二训练图像集合的方式也可以包括多种，比如，可以获取不同光照环境下拍摄的成对的卫星图像作为第二训练图像集合，如在光照强的环境下拍摄的和在光照弱的环境下拍摄的成对的卫星图像。又比如，可以获取第二训练输入卫星图像，采用自动颜色增强算法，通过调节合适的参数，改善第二训练输入卫星图像的视觉效果，得到与其成对的第二训练输出卫星图像。
所述第一神经网络和第二神经网络的训练过程相同，以目标神经网络表示，目标神经网络可以为第一神经网络或第二神经网络。
在对目标神经网络进行训练时，可以基于目标神经网络中多个卷积层，采用下采样的方式对卫星图像依次特征提取，得到第一特征和第二特征，第一特征可以为浅层特征，第二特征可以为深层特征。将深层特征基于反卷积层采用上采样的方式进行特征重构之后，将重构后的特征与上一层的浅层特征进行信息融合，最终得到目标特征。
需要说明的是，在包括更多层的卷积层的情况下，第二特征还可以被特征提取，得到更深层的特征，将更深层的特征基于反卷积层采用上采样的方式进行特征重构之后，将重构后的特征与上一层的浅层特征进行信息融合，依次拼接之后，得到最终的目标特征。
之后，可以经过一个残差连接，将目标特征和训练输入卫星图像进行连接，以进行图像重构，得到第二目标卫星图像，所述第二目标卫星图像即为目标神经网络的输出。
在目标神经网络为第一神经网络的情况下，可以将第二目标卫星图像与第一训练输出卫星图像进行比较，得到第一差异信息。在目标神经网络为第二神经网络的情况下，可以将第二目标卫星图像与第二训练输出卫星图像进行比较，得到第二差异信息。其中，可以采用常用的损失计算方式确定第二目标卫星图像与第一训练输出卫星图像之间，或者第二目标卫星图像与第二训练输出卫星图像之间的差异信息。
之后，基于所述差异信息更新目标神经网络的参数，在差异信息达到最小即损失函数最小化的情况下，目标神经网络训练完成。
本实施例中，通过对训练输入卫星图像进行特征提取，并采用图像重构的方式得到第二目标卫星图像，同时，将第二目标卫星图像与训练输入卫星图像不同的图像参数的训练输出卫星图像进行比较，以更新第一神经网络或第二神经网络的参数。如此，可以实现对第一神经网络或第二神经网络进行训练，从而可以使第一神经网络能够实现去雾处理，使第二神经网络能够实现画质参数调节。
可选的，所述目标神经网络包括第一神经网络，所述步骤S801具体包括：
获取训练输出卫星图像；
基于所述训练输出卫星图像进行雾图构造，以生成所述训练输入卫星图像；其中，所述训练输入卫星图像的图像透明度低于所述训练输出卫星图像的图像透明度。
在一般情况下，对于真实带雾的卫星图像，在图像库中其成对的去雾卫星图像通常没有真实标注，因此，很难从卫星图像中直接获取成对的卫星图像。本实施方式中，通过数据构造方式获取第一训练图像集。
具体的，可以从图像库中获取无雾的卫星图像作为训练输出卫星图像yi，具体可以从图像库中获取图像透明度高于预设阈值的卫星图像。通过随机生成雾图fi的形式进行雾图构造，得到与训练输出卫星图像yi成对的带雾的卫星图像，作为训练输入卫星图像xi，其构造如下式(3)所示。
xi＝α*yi+(1-α)*fi (3)
其中，上式(3)中，α为一个系数，可以确定雾的透明度，即确定图像透明度。在生成训练输入卫星图像时，α可以从[0，0.3]之间随机取值。通过数据构造方式，即可以构造出一个第一训练图像集。
本实施方式中，通过雾图构造的方式获取第一训练图像集，可以克服图像库中很难获取成对的带雾的卫星图像和无雾的卫星图像的难点，从而可以提高第一神经网络的训练精度。
可选的，所述目标神经网络包括第二神经网络，所述步骤S801具体包括：
获取训练输入卫星图像；所述训练输入卫星图像为第一神经网络输出的卫星图像，所述第一神经网络用于对输入的卫星图像进行去雾处理；
对所述训练输入卫星图像的画质参数进行调节，以生成所述训练输出卫星图像。
本实施方式中，与第一训练图像集一样，在一般情况下，图像库中通常没有画质参数调节后的卫星图像的真实标注，因此，很难从卫星图像中直接获取成对的卫星图像。本实施方式中，通过数据构造方式获取第二训练图像集。
具体的，对于图像库中的卫星图像x'j，经过第一神经网络进行去雾处理后，得到输出的卫星图像y'j＝F1(x'j)，该输出的卫星图像即为第二训练输入卫星图像。
可以采用已有的或新的画质参数调节算法如自动颜色增强算法，通过调节合适的参数，对第二训练输入卫星图像进行色彩增强，以改善其视觉质量，得到画质参数调节后的卫星图像，该卫星图像即为第二训练输出卫星图像。通过这样的数据构造方式即可以构造出第二训练图像集。
本实施方式中，通过将第一神经网络的输出作为第二训练输入卫星图像，并通过已有的或新的画质参数调节算法，对第二训练输入卫星图像的画质参数进行调节，以构造出第二训练输出卫星图像，获取第二训练图像集。如此，可以克服图像库中很难获取成对的画质参数调节前后的卫星图像的难点，从而可以提高第二神经网络的训练精度。
第三实施例
如图9所示，本申请提供一种卫星图像处理装置900，包括：
第一获取模块901，用于获取第一目标卫星图像；
去雾处理模块902，用于基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；
画质参数调节模块903，用于基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
可选的，其中，所述第一获取模块901，具体用于将待处理卫星图像与至少一个待扩展卫星图像进行拼接，得到所述第一目标卫星图像，其中，所述至少一个待扩展卫星图像为与所述待处理卫星图像的边缘重叠的至少一个卫星图像；
所述装置还包括：
截取模块，用于从所述第二卫星图像中截取目标区域的卫星图像，得到所述目标区域对应的第三卫星图像；其中，所述目标区域为所述待处理卫星图像对应的区域。
本申请提供的卫星图像处理装置900能够实现上述卫星图像处理方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。
第四实施例
如图10所示，本申请提供一种网络训练装置1000，包括：
第二获取模块1001，用于获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
特征提取模块1002，用于基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
确定模块1003，用于确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
更新模块1004，用于基于所述差异信息更新所述目标神经网络的参数。
可选的，其中，所述目标神经网络包括第一神经网络，所述第二获取模块1001包括：
第一获取单元，用于获取训练输出卫星图像；
第一生成单元，用于基于所述训练输出卫星图像进行雾图构造，以生成所述训练输入卫星图像；其中，所述训练输入卫星图像的图像透明度低于所述训练输出卫星图像的图像透明度。
可选的，所述目标神经网络包括第二神经网络，所述第二获取模块1001包括：
第二获取单元，用于获取训练输入卫星图像；所述训练输入卫星图像为第一神经网络输出的卫星图像，所述第一神经网络用于对输入的卫星图像进行去雾处理；
第二生成单元，用于对所述训练输入卫星图像的画质参数进行调节，以生成所述训练输出卫星图像。
本申请提供的网络训练装置1000能够实现上述网络训练方法实施例实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM1103中，还可以存储设备1100操作所需的各种程序和数据。计算单元1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调整解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如卫星图像处理方法或网络训练方法。例如，在一些实施例中，卫星图像处理方法或网络训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算单元1101执行时，可以执行上文描述的卫星图像处理方法或网络训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方法(例如，借助于固件)而被配置为执行卫星图像处理方法或网络训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编辑语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种卫星图像处理方法，包括：
获取第一目标卫星图像；
基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；
基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
2.根据权利要求1所述的方法，其中，所述获取第一目标卫星图像，包括：
将待处理卫星图像与至少一个待扩展卫星图像进行拼接，得到所述第一目标卫星图像，其中，所述至少一个待扩展卫星图像为与所述待处理卫星图像的边缘重叠的至少一个卫星图像；
所述基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像之后，还包括：
从所述第二卫星图像中截取目标区域的卫星图像，得到所述目标区域对应的第三卫星图像；其中，所述目标区域为所述待处理卫星图像对应的区域。
3.一种网络训练方法，包括：
获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
基于所述差异信息更新所述目标神经网络的参数。
4.根据权利要求3所述的方法，其中，所述目标神经网络包括第一神经网络，所述获取训练图像集，包括：
获取训练输出卫星图像；
基于所述训练输出卫星图像进行雾图构造，以生成所述训练输入卫星图像；其中，所述训练输入卫星图像的图像透明度低于所述训练输出卫星图像的图像透明度。
5.根据权利要求3所述的方法，其中，所述目标神经网络包括第二神经网络，所述获取训练图像集，包括：
获取训练输入卫星图像；所述训练输入卫星图像为第一神经网络输出的卫星图像，所述第一神经网络用于对输入的卫星图像进行去雾处理；
对所述训练输入卫星图像的画质参数进行调节，以生成所述训练输出卫星图像。
6.一种卫星图像处理装置，包括：
第一获取模块，用于获取第一目标卫星图像；
去雾处理模块，用于基于第一神经网络对所述第一目标卫星图像进行去雾处理，得到第一卫星图像；
画质参数调节模块，用于基于第二神经网络对所述第一卫星图像的画质参数进行调节，得到第二卫星图像。
7.根据权利要求6所述的装置，其中，所述第一获取模块，具体用于将待处理卫星图像与至少一个待扩展卫星图像进行拼接，得到所述第一目标卫星图像，其中，所述至少一个待扩展卫星图像为与所述待处理卫星图像的边缘重叠的至少一个卫星图像；
所述装置还包括：
截取模块，用于从所述第二卫星图像中截取目标区域的卫星图像，得到所述目标区域对应的第三卫星图像；其中，所述目标区域为所述待处理卫星图像对应的区域。
8.一种网络训练装置，包括：
第二获取模块，用于获取训练图像集；所述训练图像集包括训练输入卫星图像，以及与所述训练输入卫星图像对应的训练输出卫星图像，所述训练输入卫星图像的图像参数与所述训练输出卫星图像的图像参数不同，所述图像参数包括图像透明度或者画质参数；
特征提取模块，用于基于目标神经网络，对所述训练输入卫星图像进行特征提取，得到第一特征，将所述第一特征与第二特征进行融合，得到目标特征，并基于所述目标特征和所述训练输入卫星图像进行图像重构，得到第二目标卫星图像；所述第二特征为对所述第一特征进行特征提取后的特征所重构的特征，所述目标神经网络包括第一神经网络或者第二神经网络；
确定模块，用于确定所述第二目标卫星图像和所述训练输出卫星图像的差异信息；
更新模块，用于基于所述差异信息更新所述目标神经网络的参数。
9.根据权利要求8所述的装置，其中，所述目标神经网络包括第一神经网络，所述第二获取模块包括：
第一获取单元，用于获取训练输出卫星图像；
第一生成单元，用于基于所述训练输出卫星图像进行雾图构造，以生成所述训练输入卫星图像；其中，所述训练输入卫星图像的图像透明度低于所述训练输出卫星图像的图像透明度。
10.根据权利要求8所述的装置，所述目标神经网络包括第二神经网络，所述第二获取模块包括：
第二获取单元，用于获取训练输入卫星图像；所述训练输入卫星图像为第一神经网络输出的卫星图像，所述第一神经网络用于对输入的卫星图像进行去雾处理；
第二生成单元，用于对所述训练输入卫星图像的画质参数进行调节，以生成所述训练输出卫星图像。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-2中任一项所述的方法，或者执行权利要求3-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-2中任一项所述的方法，或者执行权利要求3-5中任一项所述的方法。
13.一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，所述电子设备执行权利要求1-2中任一项所述的方法，或者执行权利要求3-5中任一项所述的方法。
CN202011478534.7A 2020-12-15 2020-12-15 卫星图像处理方法、网络训练方法、相关装置及电子设备 Active CN112541876B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011478534.7A CN112541876B (zh) 2020-12-15 2020-12-15 卫星图像处理方法、网络训练方法、相关装置及电子设备
EP21177056.5A EP3879484A3 (en) 2020-12-15 2021-06-01 Satellite image processing method, network training method, related devices and electronic device
US17/335,647 US11810310B2 (en) 2020-12-15 2021-06-01 Satellite image processing method, network training method, related devices and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011478534.7A CN112541876B (zh) 2020-12-15 2020-12-15 卫星图像处理方法、网络训练方法、相关装置及电子设备

Publications (2)

Publication Number Publication Date
CN112541876A true CN112541876A (zh) 2021-03-23
CN112541876B CN112541876B (zh) 2023-08-04

Family

ID=75018752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011478534.7A Active CN112541876B (zh) 2020-12-15 2020-12-15 卫星图像处理方法、网络训练方法、相关装置及电子设备

Country Status (3)

Country Link
US (1) US11810310B2 (zh)
EP (1) EP3879484A3 (zh)
CN (1) CN112541876B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102633972B1 (ko) * 2021-09-24 2024-02-07 전남대학교산학협력단 인공지능 기반 차량용 디포그 서비스 제공 시스템
CN114142911A (zh) * 2021-11-25 2022-03-04 中国电子科技集团公司第五十四研究所 一种基于多层传导深度策略算法的复杂星座构型设计方法
US11961172B1 (en) 2023-10-17 2024-04-16 Royce Geospatial Consultants, Inc. Advanced image enhancements for accurate processing, exploitation, and dissemination
CN117522742B (zh) * 2024-01-04 2024-03-22 深圳市欧冶半导体有限公司 图像处理方法、架构、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279374B1 (ko) * 2012-11-27 2013-07-04 주식회사 카이넥스엠 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
WO2018179338A1 (ja) * 2017-03-31 2018-10-04 三菱電機株式会社 機械学習装置及び画像認識装置
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170282B1 (en) * 2009-09-17 2012-05-01 Sandia Corporation Technique for ship/wake detection
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
US8594375B1 (en) * 2010-05-20 2013-11-26 Digitalglobe, Inc. Advanced cloud cover assessment
US8509476B2 (en) * 2011-09-13 2013-08-13 The United States Of America, As Represented By The Secretary Of The Navy Automated system and method for optical cloud shadow detection over water
US9230333B2 (en) * 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
US10223816B2 (en) * 2015-02-13 2019-03-05 Here Global B.V. Method and apparatus for generating map geometry based on a received image and probe data
US10013785B2 (en) * 2015-05-22 2018-07-03 MyHEAT Inc. Methods and systems for object based geometric fitting
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
US20170147901A1 (en) * 2015-11-20 2017-05-25 The Boeing Company Multi-resolution, change-driven imagery collection asset tasking system
US10217236B2 (en) * 2016-04-08 2019-02-26 Orbital Insight, Inc. Remote determination of containers in geographical region
WO2017176487A1 (en) * 2016-04-08 2017-10-12 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US10650285B1 (en) * 2016-09-23 2020-05-12 Aon Benfield Inc. Platform, systems, and methods for identifying property characteristics and property feature conditions through aerial imagery analysis
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
EP3338636B1 (en) * 2016-12-22 2024-02-28 Nokia Technologies Oy An apparatus and associated method for imaging
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
US11080526B2 (en) * 2017-08-15 2021-08-03 Regents Of The University Of Minnesota Satellite image classification across multiple resolutions and time using ordering constraint among instances
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
US10553020B1 (en) * 2018-03-20 2020-02-04 Ratheon Company Shadow mask generation using elevation data
KR20210059712A (ko) * 2018-08-07 2021-05-25 블링크에이아이 테크놀로지스, 아이엔씨. 이미지 향상을 위한 인공지능 기법
US11308714B1 (en) * 2018-08-23 2022-04-19 Athenium Llc Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
US10775174B2 (en) * 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations
WO2020080698A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020132463A1 (en) * 2018-12-21 2020-06-25 Cornell University Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
CN113396440A (zh) * 2019-02-14 2021-09-14 卡尔蔡司医疗技术公司 用于oct图像转化、眼科图像去噪的系统及其神经网络
JP7190026B2 (ja) * 2019-03-25 2022-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム
US11315221B2 (en) * 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11017506B2 (en) * 2019-05-03 2021-05-25 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
CN110084775B (zh) * 2019-05-09 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110188776A (zh) * 2019-05-30 2019-08-30 京东方科技集团股份有限公司 图像处理方法及装置、神经网络的训练方法、存储介质
US10972749B2 (en) * 2019-08-29 2021-04-06 Disney Enterprises, Inc. Systems and methods for reconstructing frames
US11727169B2 (en) * 2019-09-11 2023-08-15 Toyota Research Institute, Inc. Systems and methods for inferring simulated data
CN113329688B (zh) * 2019-09-18 2023-11-28 拜耳公司 用于确定组织体素的特征的方法、系统和计算机可读介质
CN110880035B (zh) 2019-11-14 2020-12-01 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置
US11178368B2 (en) * 2019-11-26 2021-11-16 Adobe Inc. Automatic digital parameter adjustment including tone and color correction
EP3828809A1 (en) * 2019-11-28 2021-06-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN111091521B (zh) 2019-12-05 2023-04-07 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
EP3839547A1 (en) * 2019-12-16 2021-06-23 Koninklijke Philips N.V. Sense magnetic resonance imaging reconstruction using neural networks
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법
US11928753B2 (en) * 2020-01-27 2024-03-12 Intel Corporation High fidelity interactive segmentation for video data with deep convolutional tessellations and context aware skip connections
US11557053B2 (en) * 2020-02-07 2023-01-17 International Business Machines Corporation Deep learning to correct map and image features
CN111401307B (zh) 2020-04-08 2022-07-01 中国人民解放军海军航空大学 基于深度度量学习的卫星遥感图像目标关联方法和装置
CN115605913A (zh) * 2020-05-20 2023-01-13 索尼集团公司（Jp） 图像处理装置、图像处理方法、学习装置、生成方法以及程序
CN113784146A (zh) * 2020-06-10 2021-12-10 华为技术有限公司 环路滤波方法和装置
WO2021251611A1 (en) * 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
US11521324B2 (en) * 2020-06-18 2022-12-06 International Business Machines Corporation Terrain-based automated detection of well pads and their surroundings
WO2022045210A1 (ja) * 2020-08-26 2022-03-03 キヤノン株式会社 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US11798180B2 (en) * 2021-02-26 2023-10-24 Adobe Inc. Generating depth images utilizing a machine-learning model built from mixed digital image sources and multiple loss function sets

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279374B1 (ko) * 2012-11-27 2013-07-04 주식회사 카이넥스엠 카메라의 영상 개선을 위한 안개제거 영상 보정 장치 및 방법
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
WO2018179338A1 (ja) * 2017-03-31 2018-10-04 三菱電機株式会社 機械学習装置及び画像認識装置
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUI FU: "Multi-Feature-Based Bilinear CNN for Single Image Dehazing", 《IEEE ACCESS》 *

Also Published As

Publication number Publication date
US11810310B2 (en) 2023-11-07
US20210295546A1 (en) 2021-09-23
CN112541876B (zh) 2023-08-04
EP3879484A2 (en) 2021-09-15
EP3879484A3 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
CN112541876B (zh) 卫星图像处理方法、网络训练方法、相关装置及电子设备
CN114820905B (zh) 虚拟形象生成方法、装置、电子设备及可读存储介质
CN114549612A (zh) 模型训练和图像处理方法、装置、设备及存储介质
CN111768356A (zh) 一种人脸图像融合方法、装置、电子设备及存储介质
CN112308051B (zh) 文本框检测方法、装置、电子设备和计算机存储介质
CN114063858B (zh) 图像处理方法、装置、电子设备及存储介质
CN111754439A (zh) 图像处理的方法、装置、设备以及存储介质
CN112802037A (zh) 人像提取方法、装置、电子设备及存储介质
US20180089890A1 (en) Tessellation Edge Shaders
CN115187819B (zh) 图像分类模型的训练方法、装置、电子设备及存储介质
CN111768467B (zh) 图像填充方法、装置、设备及存储介质
CN114067051A (zh) 三维重建处理方法、装置、电子设备以及存储介质
CN112785492A (zh) 图像处理方法、装置、电子设备和存储介质
CN112991218A (zh) 图像处理的方法、装置、设备以及存储介质
CN115222879A (zh) 一种模型减面处理方法、装置、电子设备及存储介质
CN112669431B (zh) 图像处理方法、装置、设备、存储介质以及程序产品
CN114140320B (zh) 图像迁移方法和图像迁移模型的训练方法、装置
CN116342720A (zh) 图像处理方法及图像渲染方法、装置、设备和介质
CN114166238B (zh) 车道线的识别方法、装置及电子设备
CN115731408A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113344200B (zh) 用于训练可分离卷积网络的方法、路侧设备及云控平台
CN114037630A (zh) 一种模型训练及图像去雾方法、装置、设备及存储介质
CN114078097A (zh) 图像去雾模型的获取方法、装置和电子设备
CN114120433A (zh) 图像处理方法、图像处理装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant