CN114463175A - 基于深度卷积神经网络的火星图像超分辨方法 - Google Patents

基于深度卷积神经网络的火星图像超分辨方法 Download PDF

Info

Publication number
CN114463175A
CN114463175A CN202210055110.2A CN202210055110A CN114463175A CN 114463175 A CN114463175 A CN 114463175A CN 202210055110 A CN202210055110 A CN 202210055110A CN 114463175 A CN114463175 A CN 114463175A
Authority
CN
China
Prior art keywords
image
mars
resolution
super
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210055110.2A
Other languages
English (en)
Other versions
CN114463175B (zh
Inventor
张永强
丁明理
张印
田瑞
张子安
王骢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210055110.2A priority Critical patent/CN114463175B/zh
Publication of CN114463175A publication Critical patent/CN114463175A/zh
Application granted granted Critical
Publication of CN114463175B publication Critical patent/CN114463175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于深度卷积神经网络的火星图像超分辨方法，属于计算机视觉中的图像超分辨技术领域。本发明针对现有图像超分辨方法对真实的伴有噪声的火星图像超分辨结果较差的问题。包括模糊核估计，噪声建模和基于patch判别的上采样网络三部分；本发明方法专注于通过模糊核评估算法得到真实模糊核，对模糊核进行计算从而实现真正的盲超分辨；使用噪声提取算法从原始图像中收集噪声，并使用卷积神经网络进行噪声建模，产生与火星图像相似的噪声分布；最后，使用经过模糊核学习的注入噪声后得到的低分辨率火星图像，再送入到基于patch判别的上采样网络中，得到最后的超分辨率火星图像。本发明用于实现LR火星图像的超分辨。

Description

基于深度卷积神经网络的火星图像超分辨方法
技术领域
本发明涉及基于深度卷积神经网络的火星图像超分辨方法，属于计算机视觉中的图像超分辨技术领域。
背景技术
火星是太阳系中紧邻地球的一颗类地行星，也是太阳系中与地球最相似的类地行星。火星上由于水的发现被认为是最可能孕育生命的星球之一，这使得火星成为开展空间探测的主要目标之一。
目前在地球卫星和载人航天工程中，航天领域已取得举世瞩目的成就，发展深空探测将是后续重点，对科技进步和社会发展具有重大意义。由于火星环境复杂多变，并时常伴有沙尘等天气，目前对火星探测的关键技术在于获取高分辨率的火星图像，利用高分辨率图像对火星表面物体/地形进行检测，有助于火星车平稳、安全地降落在火星表面，从而可开展后续相关科研任务。
对火星地形的探测是进行火星科学研究的基础，第一批进行火星探测的首要任务是获取火星地形数据，而这些数据的主要来源就是高分辨率的火星图像。高分辨率火星图像对于研究火星的地貌特征和分析火星气候具有重要意义，包括识别岩石类型、成分和地层关系；岩石成岩构造、结构和交代特征；与岩石特性、侵蚀历史和漫游车路径规划相关的地貌特征；风化层和风吹沉积物的研究；以及对火星大气和气象的调查。目前获取的高分辨率火星图像主要依靠火星车携带的科学仪器，但是使用硬件获取的高分辨率图像是有限的，并且改良硬件的成本高，研制周期较长。地球与火星最近的距离在5500万公里，最远处超过4亿公里；火星探测的地火之间通信平均时间为25分钟，最短约6分钟。由于星地通信能力限制，相机拍摄的信息量较大的大量高分辨率火星图像无法迅速传回地面，同时图像在传输过程中还会遇到传输过慢或者传输失败等问题。所以，在地面上使用软件算法来处理回传压缩的低分辨率火星图像，提高回传火星图像的分辨率，进一步服务后续的深空/火星探测任务，具有十分重要的意义。
图像超分辨率方法是指通过从低分辨率(Low Resolution，LR)图像重建高分辨率(High Resolution，HR)图像来恢复图像的高频细节。通常，图像超分辨率算法同时需要有高分辨率图像对应的低分辨率图像，这样组成高-低分辨率图像对来训练图像超分辨算法。然而在实际应用中，一般不具备高-低分辨率图像对，所以现有的超分辨过程包括降采样和上采样两部分。通常，低分辨率图像是由高分辨率图像通过降采样过程得到的，图像的降采样过程如公式所示：
X＝(Y*k)↓s+n，
其中Y代表高分辨率图像，X代表经过降采样过程得到的低分辨率图像，k和n分别表示模糊核和噪声，s表示降采样。图像的上采样过程与降采样过程相反，目标是从给定的低分辨率图像X中恢复高分辨率图像Y。由上可知，图像超分辨率算法的三个重要的步骤为：降采样过程的模糊核k和噪声n的估计以及图像上采样过程。目前的图像超分辨率方法主要分为非盲超分辨率方法(Non-Blind SR)和盲超分辨率方法(Blind SR)。其中非盲超分辨是指通过某种理想的、固定的方法(通常为双三次插值)获得低分辨率图像，这种配对数据集的方法比较简单。盲超分辨率方法是指图像降采样过程的模糊核k是未知的。
在图像超分辨算法中，使用基于深度学习的方法在过去几年中实现了较大性能的提升，也是目前主流的图像超分辨方法。然而，这些基于深度学习的方法通常使用理想的降采样方法(比如双三次插值方法，bicubic)来获得低分辨率图像(LR)。虽然一些盲超分辨率方法被应用到深度学习的领域中，但是这些方法只是提高了图像降采样过程中的鲁棒性，并没有实际计算降采样核，不是真正的盲超分辨。
现有的图像超分辨率方法的局限性可以总结为两个方面：(1)在理想数据集上测试时，使用这些方法得到的成对“低分辨率-高分辨率”数据可以获得令人满意的超分辨率结果。但是，这些方法在真实火星图像超分辨率效果中的表现往往很差，因为真实火星图像的模糊核k与理想的双三次插值核不同。(2)理想的降采样方法得到的图像是没有噪声的，而真实的火星图像通常伴有噪声。此外，真实火星图像的噪声分布非常复杂，虽然现有一些方法添加了已知的噪声(如高斯噪声)来解决这个问题，但是依然导致超分辨后的火星图像在纹理细节上不真实。
发明内容
针对现有图像超分辨方法对真实的伴有噪声的火星图像超分辨结果较差的问题，本发明提供一种基于深度卷积神经网络的火星图像超分辨方法。
本发明的一种基于深度卷积神经网络的火星图像超分辨方法，包括，
模糊核估计：对HR火星图像进行目标区域的裁剪得到目标区域块，对目标区域块赋标签为真；
同时采用深度线性卷积神经网络对HR火星图像进行降采样得到降采样后火星图像，对降采样后火星图像进行目标区域的裁剪得到降采样区域块，对降采样区域块赋标签为假；
采用判别网络对目标区域块和降采样区域块进行判别，获得D-map热图，由D-map热图进行模糊核估计，获得的降采样核作为模糊核输入至模糊核库中；
获取噪声块：采用噪声提取算法由含有相同噪声类型的真实高分辨率火星图像中提取平滑噪声块，再采用卷积神经网络学习平滑噪声块的分布，获得具有相似噪声分布的噪声样板块，存入噪声库中；
超分辨率图像的生成：对随机从模糊核库中选择的模糊核与随机从噪声库中选择的噪声样板块进行处理，获得LR火星图像；将LR火星图像与对应的HR火星图像配对获得图像对，采用图像对训练基于区域块判别的上采样网络，获得训练后上采样网络，LR火星图像超再经训练后上采样网络进行超分辨，获得最终的超分辨率火星图像。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，
获得LR火星图像的方法包括：对随机选择的模糊核进行评估得到初级低分辨率火星图像，再将随机选择的噪声样板块注入所述初级低分辨率火星图像中，获得LR火星图像。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，所述基于区域块判别的上采样网络获得最终的超分辨率火星图像的过程包括：
采用全卷积判别网络的生成器由LR火星图像获得初级超分辨率火星图像；
将初级超分辨率火星图像和选定模糊核对应的HR火星图像分别经全卷积判别网络的判别器映射成N×N矩阵，N为正整数；使N×N矩阵的每个元素代表相应火星图像中一个区域块来自真实图像的可能性，并获得矩阵真假标签；
将获得的矩阵真假标签与对应输入火星图像相应区域块的真假标签进行比较计算损失函数，直到损失函数满足预测阈值，完成全卷积判别网络的训练获得训练后上采样网络；采用训练后上采样网络对LR火星图像进行超分辨，获得最终的超分辨率火星图像。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，所述损失函数由像素损失、感知损失和对抗损失三部分计算获得；
其中像素损失为距离特征，感知损失为VGG-19网络的激活特征，对抗损失为纹理细节特征。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，损失函数的计算方法包括：
Ltotal＝λ1·L1+λper·Lper+λadv·Ladv，
式中Ltotal为损失函数的总损失，λ1、λper和λadv均为权重，λ1＝0.01，λper＝1，λadv＝0.005；L1为像素损失、Lper为感知损失，Ladv为对抗损失。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，对目标区域块和降采样区域块进行判别采用的判别网络结构包括：
第一卷积层的7×7卷积核及第二至第七卷积层的6个1×1卷积核；
第一卷积层包括卷积层和谱归一化层；第二至第六卷积层分别包括卷积层、批归一化层和ReLU激活函数；第七卷积层包括卷积层和Sigmoid激活函数。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，深度线性卷积神经网络包括卷积层和5个64通道的隐藏层，
卷积层和前2个隐藏层的卷积核大小为7×7，5×5，3×3；后3个隐藏层的卷积核大小为1×1。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，提取平滑噪声块的过程包括：
对真实高分辨率火星图像通过滑框的形式，以步长s1得到大小为d×d的多个图像块pi；再在图像块pi上，以步长s2得到大小为h×h的多个图像块qij；其中d和h分别表示图像块的像素；计算每个图像块qij的均值和方差，将均值和方差均满足预设条件的图像块qij对应的图像块pi作为平滑噪声块。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，学习平滑噪声块分布的卷积神经网络包括特征提取卷积单元Conv、3个反卷积单元ConvUnit和输出卷积单元Conv；
其中特征提取卷积单元Conv包括5×5卷积、BN层和ReLU激活函数；
每个反卷积单元ConvUnit包括5×5反卷积；
输出卷积单元Conv包括5×5反卷积和Tanh激活函数；
特征提取卷积单元Conv、反卷积单元ConvUnit和输出卷积单元Conv的卷积核大小分别为256，128，64。
根据本发明的基于深度卷积神经网络的火星图像超分辨方法，所述降采样包括2倍降采样。
本发明的有益效果：本发明适用于火星探测相关任务中的火星图像超分辨。
本发明方法提出了一种新颖的火星图像超分辨率框架，对图像超分辨算法中必要的三个条件，即模糊核，噪声以及上采样过程进行了改进，包括模糊核估计，噪声建模和基于patch(区域块)判别的上采样网络三部分。其中，针对模糊核，本发明方法专注于通过模糊核评估算法得到真实模糊核来代替原有固定的双三次插值核，对模糊核进行计算从而实现真正的盲超分辨；针对噪声，本发明使用噪声提取算法从原始图像中收集噪声，并使用卷积神经网络进行噪声建模，产生与火星图像相似的噪声分布。在噪声获取模型中有来自真实火星图像的丰富先验信息，减轻了特征提取的负担；最后，通过使用改进后的模糊核和噪声得到的低分辨率火星图像，再送入到基于patch判别的上采样网络中，得到最后的超分辨率火星图像。
本发明方法突破了现有深度学习方法不适用于真实火星图像超分辨的问题，克服了现阶段的图像超分辨方法在真实的伴有噪声的火星图像超分辨结果较差的问题，促进了基于机器视觉的相关技术在深空/火星相关探测任务中的应用。本发明属于深空/火星探测任务中较早的基础性技术研究工作，在一定程度上推动了后续规划任务，也为后续规划任务提供了一定的技术支撑。
本发明方法的研究对像不只局限于通过固定模糊核降采样得到的低分辨率火星图像，更不局限于不存在噪声的理想低分辨率火星图像，尤其使得对真实的低分辨率的火星图像实现超分成为可能。本发明对火星探测后续规划任务中的地形地貌勘探、火星车落地取样时对有科学价值的特定区域的选择等任务具有重要意义。
附图说明
图1是本发明所述基于深度卷积神经网络的火星图像超分辨方法的框架流程图；图中G表示深度线性卷积神经网络，D为判别网络
图2是对HR火星图像进行处理，获得模糊核的流程图；
图3是获得噪声样板块的流程图；
图4是基于区域块判别的上采样网络的结构示意图；
图5是对目标区域块和降采样区域块进行判别采用的判别网络的结构示意图；
图6是深度线性卷积神经网络的结构示意图；
图7是采用现有方法与本发明方法对火星图像进行超分辨的实验结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图3所示，本发明提供了一种基于深度卷积神经网络的火星图像超分辨方法，包括，
模糊核估计：对HR火星图像进行目标区域的裁剪得到目标区域块，对目标区域块赋标签为真；
同时采用深度线性卷积神经网络对HR火星图像进行降采样得到降采样后火星图像，对降采样后火星图像进行目标区域的裁剪得到降采样区域块，对降采样区域块赋标签为假；
采用判别网络对目标区域块和降采样区域块进行判别，获得D-map热图，由D-map热图进行模糊核估计，获得的降采样核作为模糊核输入至模糊核库中；
获取噪声块：采用噪声提取算法由含有相同噪声类型的真实高分辨率火星图像中提取平滑噪声块，再采用卷积神经网络学习平滑噪声块的分布，在数量和多样性上产生更多的噪声数据，获得具有相似噪声分布的噪声样板块，存入噪声库中；
超分辨率图像的生成：对随机从模糊核库中选择的模糊核与随机从噪声库中选择的噪声样板块进行处理，获得LR火星图像；将LR火星图像与对应的HR火星图像配对获得图像对，采用图像对训练基于区域块判别的上采样网络，获得训练后上采样网络，LR火星图像超再经训练后上采样网络进行超分辨，获得最终的超分辨率火星图像。
本实施方式提出的火星图像超分辨方法框架使用深度卷积神经网络学习低分辨率火星图像内部的信息分布，最后获得与真实火星图像相似的模糊核，实现真实的火星图像的超分辨任务。同时，采用噪声提取算法首先提取火星图像的噪声块，利用深度卷积神经网络学习噪声分布以扩大噪声块的数量，最后将得到的噪声加入到低分辨率火星图像中，这样得到的低分辨率火星图像更加“真实”，送入到上采样网络后可得到较好的超分辨率效果。
结合图1所示，本发明的整体框架由三部分组成。第一个组成部分是模糊核估计，它使用深度线性生成网络生成一个降采样的火星图像，其分布尽可能的接近低分辨率火星图像的分布。模糊核估计的输出是一个降采样核，然后将它们放入一个“模糊核库”中。第二个组成部分是噪声建模部分，主要功能是通过噪声提取算法提取噪声并使用深度卷积神经网络模拟噪声分布对“噪声库”进行扩大，然后将得到的噪声放入到“噪声库”中。第三个组成部分是基于patch判别的上采样网络，随机从“模糊核库”和“噪声库”中选择模糊核和噪声产生“真实”的低分辨率图像，再送入基于patch的上采样网络中后，得到最终的超分辨率火星图像。
进一步，结合图1所示，获得LR火星图像的方法包括：对随机选择的模糊核进行评估得到初级低分辨率火星图像，再将随机选择的噪声样板块注入所述初级低分辨率火星图像中，获得LR火星图像。
在模糊核估计模块中，为了获取低分辨率火星图像的准确的模糊核，提出了模糊核评估算法。模糊核评估算法主要思想是对于给定的火星图像，找到可以最好的匹配这张图像对应低分辨图像patch分布的模糊核。具体地，使用卷积神经网络生成降采样图像，例如2倍降采样，使得这个降采样图像的patch分布尽可能与低分辨率火星图像接近。为了实现一幅火星图像的所有patches的分布全部接近于真实的火星图像，本发明方法选择了在分布建模中效果最好的卷积神经网络。整个算法主要由深度线性卷积神经网络和判别网络组成，如图2所示。对于输入的火星图像，首先，使用深度线性卷积神经网络对整幅火星图像进行降采样得到降采样后的低分辨率火星图像。其次，分别对输入的火星图像和降采样后得到的火星图像进行裁剪得到patches。最后，使用判别网络进行判别，其中低分辨率火星图像的patches的标签是真(Real)，降采样后的更低分辨率火星图像的patches的标签是假(Fake)。判别网络的输出是一个D-map热图，D-map上的每一个像素，代表着它来自真实图像的可能性。
再进一步，结合图4所示，所述基于区域块判别的上采样网络获得最终的超分辨率火星图像的过程包括：
采用全卷积判别网络的生成器由LR火星图像获得初级超分辨率火星图像；
将初级超分辨率火星图像和选定模糊核对应的HR火星图像分别经全卷积判别网络的判别器映射成N×N矩阵，N为正整数；使N×N矩阵的每个元素代表相应火星图像中一个区域块来自真实图像的可能性，并获得矩阵真假标签；
将获得的矩阵真假标签与对应输入火星图像相应区域块的真假标签进行比较计算损失函数，直到损失函数满足预测阈值，完成全卷积判别网络的训练获得训练后上采样网络；采用训练后上采样网络对LR火星图像进行超分辨，获得最终的超分辨率火星图像。
本实施方式中，将初级超分辨率火星图像和选定模糊核对应的HR火星图像分别映射成N×N矩阵；对于初级超分辨率火星图像，将判别器获得的标签判断结果与初级超分辨率火星图像的已知标签进行比较；对于HR火星图像，将判别器获得的标签判断结果与HR火星图像的已知标签进行比较；在些基础上进行损失函数的计算。
在噪声建模模块中，为了提取真实火星图像中的噪声，设计了噪声模型。本发明方法中，假设被处理的火星图像含有相同种类的广范围的0均值噪声，噪声模型的整体结构如图3所示。首先，使用噪声提取算法从真实火星图像上提取满足要求的平滑噪声块，但是通过实验发现，4000张图像大概只能提取出250个满足要求的平滑噪声块，这对噪声模型的建立是远远不够的。所以，接下来又使用卷积神经网络学习噪声块的分布，将产生相似噪声分布的噪声块集中放在一个噪声库(Noise Bank)中。最后，随机从噪声库中选择噪声块注入到上述的通过模糊核评估得到的低分辨率火星图像中，生成最后的“真实”低分辨率火星图像。
在上采样网络中，为了得到更好效果的超分结果，提出了基于patch判别的火星图像上采样网络。普通的生成对抗网路中的判别网络是将输入映射成一个评价值(Real orFake)，这样仅使用一个评价值来对整幅图像进行评价在要求高分辨率、恢复图像细节要求较高的图像超分辨领域中并不合适。为了解决上述问题，本发明设计了全卷积网络的判别网络，如图4所示，输入图像经过全卷积判别网络后，将输入图像映射成N×N的矩阵A，矩阵中每个元素点就代表了原始图像中的一个patch来自真实图像的可能性，增大了感受野。同样，判别网络的标签也是一个N×N的Real or Fake矩阵，即1/0标签，这样就可以进行损失计算。此方法有着较大的感受野，可以关注更多的区域，在模型训练时也可以更多地关注图像的细节部分，可以得到更好的超分效果。
再进一步，所述损失函数由像素损失、感知损失和对抗损失三部分计算获得；
其中像素损失为距离特征，感知损失为VGG-19网络的激活特征，对抗损失为纹理细节特征。
损失函数的计算方法包括：
Ltotal＝λ1·L1+λper·Lper+λadv·Ladv，
式中Ltotal为损失函数的总损失，λ1、λper和λadv均为权重，λ1＝0.01，λper＝1，λadv＝0.005；L1为像素损失、Lper为感知损失，Ladv为对抗损失。
再进一步，结合图5所示，对目标区域块和降采样区域块进行判别采用的判别网络结构包括：
第一卷积层的7×7卷积核及第二至第七卷积层的6个1×1卷积核；
第一卷积层包括卷积层和谱归一化层；第二至第六卷积层分别包括卷积层、批归一化层和ReLU激活函数；第七卷积层包括卷积层和Sigmoid激活函数。
再进一步，结合图6所示，深度线性卷积神经网络包括卷积层和5个64通道的隐藏层，
卷积层和前2个隐藏层的卷积核大小为7×7，5×5，3×3；后3个隐藏层的卷积核大小为1×1。
再进一步，提取平滑噪声块的过程包括：
对真实高分辨率火星图像通过滑框的形式，以步长s1得到大小为d×d的多个图像块pi；再在图像块pi上，以步长s2得到大小为h×h的多个图像块qij；其中d和h分别表示图像块的像素；计算每个图像块qij的均值和方差，将均值和方差均满足预设条件的图像块qij对应的图像块pi作为平滑噪声块。
再进一步，结合图1所示，学习平滑噪声块分布的卷积神经网络包括特征提取卷积单元Conv、3个反卷积单元ConvUnit和输出卷积单元Conv；
其中特征提取卷积单元Conv包括5×5卷积、BN层和ReLU激活函数；
每个反卷积单元ConvUnit包括5×5反卷积；
输出卷积单元Conv包括5×5反卷积和Tanh激活函数；
特征提取卷积单元Conv、反卷积单元ConvUnit和输出卷积单元Conv的卷积核大小分别为256，128，64。
作为示例，所述降采样包括2倍降采样。
综上，本发明方法在实现超分辨的过程中，充分考虑到了模糊核和噪声的影响。其中模糊核估计模型在由高分辨率火星图像得到低分辨率火星图像时，可以准确地得到火星图像的模糊核，即可以得到高质量的“高分辨-低分辨率”火星图像对，供训练后续的超分辨网络使用。噪声建模模型可以提取到真实火星图像中的噪声，在超分辨算法里虑到噪声的影响，增加超分辨算法的鲁棒性，提高火星图像超分效果。最后，随机从“模糊核库”和“噪声库”中选择模糊核和噪声产生“真实”的低分辨率图像，再送入基于patch的上采样网络中后，得到最终的超分辨率火星图像。本发明方法可促进火星图像超分辨技术的发展，为后续火星探测的相关任务提供技术支撑。
具体实施例：
结合图1所示，用户可以根据实际应用需求自行构建相应的数据库。首先根据自己的实际需求准备训练样本，为了方便和与现存方法比较，本发明选择使用自行构建好的GMSRI火星图像数据集，其中包含有纹理的大块火星岩石，细小的火星沙粒，带有沟壑的沙丘地形的30K张火星图像。具体地将GMSRI火星图像数据集中的火星图像分为20K/5K/5K，其中，20K张用来进行模型训练，5K张用来进行验证，最后5K张进行测试实验。建立训练数据库之后，训练本发明所提出的模糊核估计模型，生成“模糊核库”，接着训练本发明说提出的噪声生成模型，生成“噪声库”，最后随机从“模糊核库”和“噪声库”中选择模糊核和噪声产生“真实”的低分辨率图像，再送入基于patch的上采样网络中后，得到最终的超分辨率火星图像。
准备训练样本。训练样本图像可以根据用户实际需求自行收集，进而构建相应的火星图像数据库，也可以选用现有公开的火星图像数据库，如mars32k，GMSRI等数据库。GMSRI数据集中的图像记录了火星表面山脉、山谷、火山口、沙丘和岩石等各种地形的地理和地质特征，所有图像的尺寸为560×500像素。
设计模糊核估计算法：网络结构由深度线性卷积神经网络和判别网络组成。其中，深度线性卷积神经网络的作用是对整幅火星图像进行降采样，得到降采样后的低分辨率火星图像，判别网络的作用是进行判别，其中低分辨率火星图像的patches的标签是Real，降采样后的低分辨率火星图像的patches的标签是Fake，最后两个网络相互对抗训练，使得深度线性卷积神经网络得到准确的真实火星图像的模糊核，最后将不同火星图像的模糊核组成一个模糊核库。具体地，判别网络的结构如图5所示，由第一层的7×7卷积核及6个1×1卷积核组成，整个网络使用全卷积网络结构。为了实现7×7patch大小的小感受野，网络中没有使用池化层。其中第一卷积层包括卷积层和谱归一化层(Spectral Normalization)，谱归一化层的作用是降低网络对干扰敏感性，使网络更容易收敛，模型更稳定；第二至第六卷积层包括批归一化层(Batch Normalization，BN)和ReLU激活函数；第七卷积层包括Sigmoid激活函数。
深度线性卷积神经网络如图6所示，使用了5个64通道的隐藏层，前三个卷积核的大小为7×7，5×5，3×3，剩下三个是大小为1×1的卷积核。由于网络结构是线性的，所以只看整个网络的输入和输出，相当于输入64×64的patch经过一个13×13的卷积核得到32×32的输出。其中，13×13的卷积核也就是最终想要的图像降采样的模糊核。
设计噪声提取模型。噪声模型的主要作用是提取火星图像的噪声，如图3所示，本发明首先使用噪声提取算法从真实火星图像上提取满足要求的平滑噪声块，具体提取具有弱背景的火星图像来提取噪声块，称之为平滑噪声块。这样，火星图像的噪声分布就成为了卷积神经网络的主要学习对象，使得学习的噪声部分与真实火星图像的噪声部分更加接近，结果更加准确。
通过实验发现，仅仅通过噪声提取算法获得的噪声块数量较少而且缺乏多样性，导致后续的火星图像超分辨效果较差。为了解决这个问题，提高火星图像超分辨率效果，本发明提出了使用卷积神经网络从被提取的噪声块中学习噪声分布，在数量和多样性上产生更多的噪声数据扩大噪声库，进一步提高了后续的火星图像超分辨效果。具体地，整个网络主要包括噪声建模网络和用来差异比较的判别反馈网络。噪声建模网络用于生成与真实火星图像相似的噪声以扩大“噪声库”，网络结构由1个特征提取单元、3个反卷积单元和一个输出单元组成，特征提取单元包括5×5卷积、BN层和ReLU激活函数，反卷积单元包括5×5反卷积，反卷积单元可以扩大感受野，使每个卷积输出包含更大范围的信息，输出单元包括一个5×5反卷积和一个Tanh激活函数。噪声建模网络中的卷积核大小分别为256，128，64。判别网络的输入由噪声建模网络产生的噪声块和由噪声块提取算法得到的噪声块，其主要目的是将噪声建模网络产生的噪声与提取到的噪声特征进行比较，获得差异后反馈给噪声建模网络，让噪声生建模网络生成更加相似的噪声分布。
设计上采样网络：上采样网络是本发明的核心模块，因为在这个模块中实现了火星图像的超分辨。目前，基于生成对抗网络在图像超分辨领域中有着很大的潜力，通过实验，直接利用现存的基于生成对抗网络实现火星图像的超分辨，其效果较差，存在一些非必要的伪影。为此，本发明对默认的判别网络进行了改进，引入了patch判别的思路，这样的改进可以固定感受野的大小，判别网络的每个输出值只与局部笃定的patch相关，每个patch的损失将反馈到发生器以优化局部细节。整个上采样网络的损失函数由像素损失，感知损失，对抗损失三部分组成，感知损失可以提升火星图像中的低频信息，从而使火星图像超分辨结果更符合人类的视觉效果；对抗损失主要是提高火星图像超分辨率的纹理细节，使超分辨后的火星图像看起来更加真实。最终，整个网络的损失函数由这三部分加权得到。
本发明所基于的网络框架中，引入了模糊核估计模块来准确估计从高分辨率火星图像得到低分辨率火星图像过程中的模糊核，设计了噪声提取模型来提取火星图像的噪声，最后设计了上采样网络，得到最终的超分辨率火星图像。具体地，模糊核评估算法中，整个模型可迭代3000次，采用Adam优化器。初始学习率为2e-4并使用学习率衰减策略，每750次学习率下降0.1倍。噪声建模算法中，噪声块提取步骤时，设置s1和d分别为64和32，s2和h分别为16和16。在使用卷积神经网络扩大噪声库步骤时，使用随机梯度下降(StochasticGradient Descent，SGD)优化器进行优化，LeakyReLU激活函数中的斜率k设置为0.2，动量(Momentum)和学习率分别设置为0.5和0.0002。在超分辨率训练过程中，采用Adam优化器。网络的损失函数由像素损失、感知损失、对抗损失三者经过加权得到。整个模型迭代训练60000次，初始学习率为e-4。
通过上述步骤训练的基于深度卷积神经网络的火星图像超分辨网络，可以实现高质量火星图像的超分辨任务。
表1为采用本发明方法和现有其它方法对图像进行超分辨的实验结果对比数据：
表1实验结果(PSNR/SSIM)
Figure BDA0003475883200000121
表1中，采用图像超分辨领域中的标准评价指标PSNR/SSIM对所提出的方法进行评估。从对比数据中可以看出，本发明提出的方法(Ours)对比目前最先进的图像超分辨方法EDSR有一个很大的提升，在×2和×4放大倍数下，PSNR值分别提升了0.15dB和0.37dB；SSIM分别提升了0.22dB和0.21dB。此外，与其他最新的图像超分辨方法ZSSR和ESRGAN进行比较，本发明在PSNR/SSIM指标方面都要优于其他方法，×2和×4放大倍数下，均达到了目前最高的超分结果25.72/0.71和25.73/0.63，从而证明了本发明方法的有效性。图7为实验结果对比图，其中最上方的两幅图为HR火星图像，LR为对应于HR火星图像中四个框区域的LR火星图像，图7中最下面一行的图像为采用对应方法对相应LR进行超分辨获得的真实图像，从图7中可以看出，与其他方法相比，使用本发明提出的方法得到的超分辨率火星图像纹理清晰，伪影更少，边缘平滑，与真实火星图像相差无几，得到了最好的超分辨率效果。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种基于深度卷积神经网络的火星图像超分辨方法，其特征在于包括，
模糊核估计：对HR火星图像进行目标区域的裁剪得到目标区域块，对目标区域块赋标签为真；
同时采用深度线性卷积神经网络对HR火星图像进行降采样得到降采样后火星图像，对降采样后火星图像进行目标区域的裁剪得到降采样区域块，对降采样区域块赋标签为假；
采用判别网络对目标区域块和降采样区域块进行判别，获得D-map热图，由D-map热图进行模糊核估计，获得的降采样核作为模糊核输入至模糊核库中；
获取噪声块：采用噪声提取算法由含有相同噪声类型的真实高分辨率火星图像中提取平滑噪声块，再采用卷积神经网络学习平滑噪声块的分布，获得具有相似噪声分布的噪声样板块，存入噪声库中；
超分辨率图像的生成：对随机从模糊核库中选择的模糊核与随机从噪声库中选择的噪声样板块进行处理，获得LR火星图像；将LR火星图像与对应的HR火星图像配对获得图像对，采用图像对训练基于区域块判别的上采样网络，获得训练后上采样网络，LR火星图像超再经训练后上采样网络进行超分辨，获得最终的超分辨率火星图像。
2.根据权利要求1所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
获得LR火星图像的方法包括：对随机选择的模糊核进行评估得到初级低分辨率火星图像，再将随机选择的噪声样板块注入所述初级低分辨率火星图像中，获得LR火星图像。
3.根据权利要求2所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
所述基于区域块判别的上采样网络获得最终的超分辨率火星图像的过程包括：
采用全卷积判别网络的生成器由LR火星图像获得初级超分辨率火星图像；
将初级超分辨率火星图像和选定模糊核对应的HR火星图像分别经全卷积判别网络的判别器映射成N×N矩阵，N为正整数；使N×N矩阵的每个元素代表相应火星图像中一个区域块来自真实图像的可能性，并获得矩阵真假标签；
将获得的矩阵真假标签与对应输入火星图像相应区域块的真假标签进行比较计算损失函数，直到损失函数满足预测阈值，完成全卷积判别网络的训练获得训练后上采样网络；采用训练后上采样网络对LR火星图像进行超分辨，获得最终的超分辨率火星图像。
4.根据权利要求3所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
所述损失函数由像素损失、感知损失和对抗损失三部分计算获得；
其中像素损失为距离特征，感知损失为VGG-19网络的激活特征，对抗损失为纹理细节特征。
5.根据权利要求4所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
损失函数的计算方法包括：
Ltotal＝λ1·L1+λper·Lper+λadv·Ladv，
式中Ltotal为损失函数的总损失，λ1、λper和λadv均为权重，λ1＝0.01，λper＝1，λadv＝0.005；L1为像素损失、Lper为感知损失，Ladv为对抗损失。
6.根据权利要求5所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
对目标区域块和降采样区域块进行判别采用的判别网络结构包括：
第一卷积层的7×7卷积核及第二至第七卷积层的6个1×1卷积核；
第一卷积层包括卷积层和谱归一化层；第二至第六卷积层分别包括卷积层、批归一化层和ReLU激活函数；第七卷积层包括卷积层和Sigmoid激活函数。
7.根据权利要求6所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
深度线性卷积神经网络包括卷积层和5个64通道的隐藏层，
卷积层和前2个隐藏层的卷积核大小为7×7，5×5，3×3；后3个隐藏层的卷积核大小为1×1。
8.根据权利要求7所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
提取平滑噪声块的过程包括：
对真实高分辨率火星图像通过滑框的形式，以步长s1得到大小为d×d的多个图像块pi；再在图像块pi上，以步长s2得到大小为h×h的多个图像块qij；其中d和h分别表示图像块的像素；计算每个图像块qij的均值和方差，将均值和方差均满足预设条件的图像块qij对应的图像块pi作为平滑噪声块。
9.根据权利要求8所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，
学习平滑噪声块分布的卷积神经网络包括特征提取卷积单元Conv、3个反卷积单元ConvUnit和输出卷积单元Conv；
其中特征提取卷积单元Conv包括5×5卷积、BN层和ReLU激活函数；
每个反卷积单元ConvUnit包括5×5反卷积；
输出卷积单元Conv包括5×5反卷积和Tanh激活函数；
特征提取卷积单元Conv、反卷积单元ConvUnit和输出卷积单元Conv的卷积核大小分别为256，128，64。
10.根据权利要求9所述的基于深度卷积神经网络的火星图像超分辨方法，其特征在于，所述降采样包括2倍降采样。
CN202210055110.2A 2022-01-18 2022-01-18 基于深度卷积神经网络的火星图像超分辨方法 Active CN114463175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210055110.2A CN114463175B (zh) 2022-01-18 2022-01-18 基于深度卷积神经网络的火星图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055110.2A CN114463175B (zh) 2022-01-18 2022-01-18 基于深度卷积神经网络的火星图像超分辨方法

Publications (2)

Publication Number Publication Date
CN114463175A true CN114463175A (zh) 2022-05-10
CN114463175B CN114463175B (zh) 2022-11-01

Family

ID=81410443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055110.2A Active CN114463175B (zh) 2022-01-18 2022-01-18 基于深度卷积神经网络的火星图像超分辨方法

Country Status (1)

Country Link
CN (1) CN114463175B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN112001866A (zh) * 2020-10-28 2020-11-27 季华实验室 多退化模型太赫兹图像复原方法、装置、存储介质和终端
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113538245A (zh) * 2021-08-03 2021-10-22 四川启睿克科技有限公司 基于退化模型的超分辨率图像重建方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN107833183A (zh) * 2017-11-29 2018-03-23 安徽工业大学 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法
CN112001866A (zh) * 2020-10-28 2020-11-27 季华实验室 多退化模型太赫兹图像复原方法、装置、存储介质和终端
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113538245A (zh) * 2021-08-03 2021-10-22 四川启睿克科技有限公司 基于退化模型的超分辨率图像重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕敏敏: "基于深度学习的图像超分辨率技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统

Also Published As

Publication number Publication date
CN114463175B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111539316B (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN110189255B (zh) 基于两级检测的人脸检测方法
Wang et al. Land cover change detection at subpixel resolution with a Hopfield neural network
Wang et al. Fast subpixel mapping algorithms for subpixel resolution change detection
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
Wang et al. Indicator cokriging-based subpixel mapping without prior spatial structure information
Myint et al. Urban textural analysis from remote sensor data: Lacunarity measurements based on the differential box counting method
CN115471467A (zh) 一种高分辨率光学遥感影像建筑物变化检测方法
CN116168295B (zh) 一种岩性遥感智能解译模型建立方法及解译方法
Tang et al. Multiple-point geostatistical simulation for post-processing a remotely sensed land cover classification
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Boucher Sub-pixel mapping of coarse satellite remote sensing images with stochastic simulations from training images
CN117475236B (zh) 用于矿产资源勘探的数据处理系统及其方法
CN115937697A (zh) 一种遥感影像变化检测方法
Xie et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising
CN114463175B (zh) 基于深度卷积神经网络的火星图像超分辨方法
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN112508786B (zh) 面向卫星图像的任意尺度超分辨率重建方法及系统
CN111680667B (zh) 一种基于深度神经网络的遥感图像地物分类方法
CN112528803B (zh) 道路特征提取方法、装置、设备及存储介质
CN116958800A (zh) 基于层次注意力残差UNet++的遥感影像变化检测方法
Chen et al. Bayesian subpixel mapping of hyperspectral imagery via discrete endmember variability mixture model and markov random field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant