CN112488924A - 一种图像超分辨率模型训练方法、重建方法及装置 - Google Patents
一种图像超分辨率模型训练方法、重建方法及装置 Download PDFInfo
- Publication number
- CN112488924A CN112488924A CN202011521181.4A CN202011521181A CN112488924A CN 112488924 A CN112488924 A CN 112488924A CN 202011521181 A CN202011521181 A CN 202011521181A CN 112488924 A CN112488924 A CN 112488924A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- visible light
- super
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012549 training Methods 0.000 title claims abstract description 85
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种图像超分辨率模型训练方法、重建方法及装置，该训练方法通过获取训练样本集；将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到对应的可见光图像；基于两组可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数，对预设图像超分辨率模型进行模型训练。通过在可见光空间计算备选高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下也可以输出高保真度的高分辨率图像。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像超分辨率模型训练方法、重建方法及装置。
背景技术
图像从成像原理上可分为光学图像和非可见光图像两类，其中，非可见光图像在军事、对地遥感观测、农业等领域中有着广泛应用。由于受成像设备的限制，非可见光图像例如：合成孔径雷达(Synthetic Aperture Radar，简称SAR)图像，SAR成像系统具有诸多优点，比如工作不受时间、气候等条件限制，能穿透一定的地表覆盖，可以远距离进行遥感观测。所以SAR图像广泛应用于各个领域，如军事目标的侦察和远程打击、海洋环境监测、地球资源勘探、各种自然灾害的监控等。然而，由于高分辨率成像设备的昂贵以及成像过程中不可抗因素的干扰，实际得到的SAR图像经常会因分辨率问题无法满足应用需要为此，当前有大量的研究者通过图像超分辨率技术从低分辨率SAR图像近似获得高分辨率SAR图像。但是，现有图像超分辨率重建方法大多集中在小尺度放大倍数(如x2)，或中等尺度放大倍数(如x4)，难以适用于大尺度放大倍数的图像超分辨率重建。
发明内容
有鉴于此，本发明实施例提供了一种图像超分辨率模型训练方法、重建方法及装置，以克服现有技术中缺乏适用于大尺度放大倍数的图像超分辨率重建的问题。
根据第一方面，本发明实施例提供了一种图像超分辨率模型训练方法，包括：
获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
可选地，所述预设图像超分辨率模型通过如下方式建立：
获取预设图像超分辨率模型的目标放大倍数；
基于所述目标放大倍数确定所述预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，所述上采样部分和所述下采样部分为对称结构；
基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建所述预设图像超分辨率模型。
可选地，所述分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像，包括：
获取当前待转换图像，并对所述当前待转换图像进行卷积编码，得到待转换图像编码张量；
基于多层残差网络，将所述待转换图像编码张量映射为可见光图像张量；
对所述可见光图像张量进行转置卷积解码，得到与所述当前待转换图像尺寸相同的可见光图像。
可选地，所述基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数，包括：
分别计算所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的第一图像距离和第二图像距离；
计算所述备选高分辨率图像和所述真实高分辨率图像的第三图像距离；
基于所述第一图像距离、所述第二图像距离及所述第三图像距离，构造所述损失函数。
可选地，所述损失函数由如下公式表示:
其中，Ltotal表示损失函数，N表示训练样本集中低分辨率图像的样本数量，Li3表示第i个低分辨率图像对应的第三图像距离，Li1表示第i个低分辨率图像对应的第一图像距离，Li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
根据第二方面，本发明还提供了一种图像超分辨率重建方法，包括：
获取目标低分辨率图像；
将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用第一方面及其任意一种可选实施方式中所述的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。
根据第三方面，本发明还提供了一种图像超分辨率模型训练装置，包括：
第一获取模块，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
第一处理模块，用于将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
第二处理模块，用于分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
第三处理模块，用于基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
第四处理模块，用于基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
根据第四方面，本发明还提供了一种图像超分辨率重建装置，其特征在于，包括：
第二获取模块，用于获取目标低分辨率图像；
第五处理模块，用于将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用第三方面所述的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面及其任意一种可选实施方式所述的方法，或者，执行第二方面所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面及其任意一种可选实施方式所述的方法，或者，执行第二方面所述的方法。
本发明技术方案，具有如下优点：
1.本发明实施例提供了一种图像超分辨率模型训练方法及装置，通过获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数；基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。从而通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
2.本发明实施例提供了一种图像超分辨率重建方法及装置，包括：获取目标低分辨率图像；将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。从而通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的图像超分辨率模型训练方法的流程图；
图2为本发明实施例中的SVTN网络的训练过程示意图；
图3为本发明实施例中图像超分辨率重建方法的流程图；
图4为本发明实施例中的预设图像超分辨率模型的输入输出结果示意图；
图5为本发明实施例中的图像超分辨率模型训练装置的结构示意图；
图6为本发明实施例中的图像超分辨率重建装置的结构示意图；
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在非可见光图像中，SAR图像因其固有的优势，使其在军事、对地遥感观测、农业等领域中广泛应用。但是，由于受成像设备的限制，SAR图像的分辨率较低，为此，当前有大量的研究者通过图像超分辨率技术从低分辨率SAR图像近似获得高分辨率SAR图像。但是，现有的图像超分辨率技术在大尺度放大倍数的SAR图像超分辨率上因其技术难度大而鲜有这方面的工作开展。
基于上述问题，本发明实施例提供了一种图像超分辨率模型训练方法，应用于SAR图像、红外图像等非可见光图像，需要说明的是，在本发明实施例中仅以SAR图像为例，但并不以此为限。如图1所示，该图像超分辨率模型训练方法主要包括如下步骤：
步骤S101：获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集。在本发明实施例中，该训练样本集中的每一组训练样本均包括一个低分辨率SAR图像，以及其对应的真实的高分辨率SAR图像和真实可见光图像。其中，真实的高分辨率SAR图像和真实可见光图像用于指导预设图像超分辨率模型进行模型训练，以得到低分辨率SAR图像到高分辨率SAR图像的最佳映射关系即训练好的预设图像超分辨率模型，从而利用该最佳映射关系实现SAR图像超分辨率重建。在实际应用中，可以通过丰富训练样本集的训练样本的方式，获得更好的训练结果，该训练样本集可以在全球公开数据集如SEN1-2数据集中直接提取。
步骤S102：将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像。具体地，上述的低分辨率SAR图像作为预设图像超分辨率模型的输入，输出为通过模型映射得到的预测高分辨率SAR图像。
步骤S103：分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像。具体地，可以通过预先训练好的图像模式转换模型，在实际应用中，该图像模式转换模型可以选择深度神经网络模型等，将备选高分辨率图像及真实高分辨率图像分别转换为对应的可见光图像。
步骤S104：基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数。具体地，通过将备选高分辨率图像与真实高分辨率图像之间的损失情况通过可见光空间并利用真实可见光图像进行评估，以实现从高分辨率可见光图像中挖掘出SAR图像的高频信息进行反馈，从而通过在预设图像超分辨率模型的常规损失函数中增加可见光空间的评估损失，可以引导预设图像超分辨率模型在SAR图像超分辨率重建过程输出更为接近真实高分辨率SAR图像，使得重建出的SAR图像保留纹理细节。
步骤S105：基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。具体地，利用训练样本集中每一个训练样本计算的计算结果，不断调整模型参数，直至损失函数的计算结果满足预设数值要求，训练所得到的预设图像超分辨率模型即可用于SAR图像的超分辨率重建。
通过上述步骤S101至步骤S105，本发明实施例提供的图像超分辨率模型训练方法，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
具体地，在一实施例中，SAR图像超分辨率过程可以看作低分辨率的SAR图像到高分辨率SAR图像的映射。在这过程中，输入和输出之间有大量共享的低级信息如结构信息，直接通过跳跃式连接传输这些信息是一种明智的选择，这样就可以使网络专心恢复出损失掉的高频信息。因此本发明实施例遵循U-Net设计原则，在上述的步骤S102中所采用预设图像超分辨率模型通过如下方式构建：
步骤S201：获取预设图像超分辨率模型的目标放大倍数。具体地，根据用户对SAR图像的实际需要，SAR图像的放大倍数要求不同，在本发明实施例中，该目标放大倍数可以根据用户需要进行灵活的设置，例如：4倍、8倍、16倍等。
步骤S202：基于目标放大倍数确定预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，上采样部分和下采样部分为对称结构。具体地，本发明实施例所采用的预设图像超分辨率模型简称SRUN网络，主要分为下采样和上采样两部分。上采样部分的结构与下采样部分的结构对称。每一部分都包含有个log2(s)采样模块，其中s为放大倍数。也就是说当放大倍数为4时有2个采样模块，当放大倍数为8时有3个采样模块。
步骤S203：基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建预设图像超分辨率模型。
具体地，以放大倍数为4的SRUN网络结构为例，对输入的低分辨率图像ILR进行上采样插值到目标尺寸，该目标尺寸通过低分辨率SAR图像的尺寸及上述目标放大倍数得到，假设低分辨率SAR图像为边长a，则目标尺寸SAR图像的边长为2a，然后经卷积层提取出浅层特征Fd0，具体如公式(1)所示：
Fd0＝Conv(fBicubic(ILR)) (1)
其中，Fd0表示浅层特征，fBicubic表示双三次插值运算，Conv表示步长为1的卷积层，ILR表示输入的低分辨率图像。
然后依次进行两次下采样操作，每个下采样模块主要由两个3×3卷积层和一个LeakyReLU激活层交叉组成，其中第一个卷积层Convs2的步长为2以实现维度的压缩。第一次下采样操作提取出浅层特征Fd1，具体如公式(2)所示：
Fd1＝Conv(σ(Convs2(Fd0))) (2)
其中，Fd1表示第一次下采样操作提取出浅层特征，Conv表示步长为1的卷积层，Convs2表示步长为2的卷积层，σ表示激活函数LeakyReLU，Fd0表示浅层特征。
第二次下采样操作深层特征Fd2，具体如公式(3)所示：
Fd2＝Conv(σ(Convs2(Fd1))) (3)
其中，Fd2表示第二次下采样操作深层特征，Fd1表示第一次下采样操作提取出浅层特征，Conv表示步长为1的卷积层，Convs2表示步长为2的卷积层，σ表示激活函数LeakyReLU。
接着依次进行两次上采样操作，每个上采样模块主要由n个残差通道注意块简称RCAB、一个亚像素卷积层和一个1×1卷积层组成，其中的RCAB可以有效提高模型映射能力，亚像素卷积层实现特征图维度的扩充，1×1卷积层操作是在较少网络参数的情况下进一步增强网络的非线性表达能力。值得注意的是，除了第一个上采样模块输入直接为最后一次下采样的输出特征图，其余每个上采样模块的输入是将对应的下采样部分中的输出要和上一级解码部分的输出进行拼接以融合前面的低级信息。示例性地，第一次上采样操作输入为上述提取到的深层特征Fd2，输出为上采样浅层特征Fu1，具体如公式(4)所示：
Fu1＝Conv(fup(RCAB,b(Fd2))) (4)
其中，Fu1表示上采样浅层特征，RCAB,b(·)表示一共有b个RCAB模块，fup表示亚像素卷积层用于图像上采样，Conv表示步长为1的卷积层，Fd2表示第二次下采样操作深层特征。
第二次上采样操作与上述提取到的深层特征Fd1拼接，输出为上采样深层特征Fu2，具体如公式(5)所示：
其中，Fu2表示上采样深层特征，RCAB,b(·)表示一共有b个RCAB模块，fup表示亚像素卷积层用于图像上采样，Conv表示步长为1的卷积层，Fd1表示第一次下采样操作提取出浅层特征，Fu1表示上采样浅层特征。
最后对上采样深层特征Fu2和浅层特征Fd0拼接，进行一次3×3卷积操作对之前的特征进行聚合以获得候选高分辨率SAR图像，具体如公式(6)所示：
其中，ISR表示模型输出的候选高分辨率SAR图像，Conv表示步长为1的卷积层，Fd0表示浅层特征，Fu2表示上采样深层特征。
具体地，在一实施例中，由于高分辨率的可见光图像引导的SAR图像超分辨率关键在于将SAR图像映射到可见光图像空间。可见光成像原理是光的反射，其利用太阳光线作为辐射源，传感器被动的接收地表物体反射太阳光的信息，由于不同地物反射太阳光的能力不同，因而显示在图像上就成为明暗不同的灰度信息。人们一般利用R(红)、G(绿)、B(蓝)三个波段来合成与人眼视觉机制一致的高分辨率的可见光图像，反映了丰富的光谱信息和地物轮廓。与之不同的是，SAR是一种主动的雷达系统，工作在电磁波的微波波段，能穿透一定的地表覆盖。在SAR成像中人们最关心的信息是回波强度，回波信号强，则表明是高反射对象，比如平面对象，回波信号弱，则表明是低反射对象或全反射，比如沼泽或阴影区，将这些回波信号强度用灰度信息表示，就是SAR图像。从以上成像机理来看，可见光图像和SAR图像具有一定的共性。两种图像的获取都是地表环境下各种地物对电磁波的反射或散射特性的反映，尽管覆盖同一地区的SAR图像与可见光图像的纹理、颜色不同，但是它们描述的地物基本属性相同，如地物的空间位置、形状、种类等，这些固有的共同特性是SAR图像与可见光图像之间映射的基础。
因此，本发明实施例通过一种SAR图像到可见光图像的映射网络简称SVTN网络来实现上述步骤S103中图像模式转换，具体包括如下步骤：
步骤S301：获取当前待转换图像，并对当前待转换图像进行卷积编码，得到待转换图像编码张量；
步骤S302：基于多层残差网络，将待转换图像编码张量映射为可见光图像张量；
步骤S303：对可见光图像张量进行转置卷积解码，得到与当前待转换图像尺寸相同的可见光图像。
示例性地，上述的SVTN网络由编码模块、映射模块和解码模块三部分组成，分别用于执行上述的步骤S301至步骤S303，其中，编码模块由五个卷积小模块组成，假设输入是分辨率为256×256的SAR图像，输出为1024通道大小为8×8的SAR图像编码张量。其中，4×4卷积层是用来扩展感受野的，这样SAR图像在卷积运算中可以包含更多的邻域信息，减少散斑噪声的干扰。通过这个过程，可以得到SAR图像的编码表达式和高级语义信息。
映射模块采用多层残差结构增加网络的映射能力，具体是由3个残差块组成。它的输入为8×8大小的SAR图像编码张量，输出为8×8大小的可见光图像编码张量。通过这个过程，将前面编码得到的SAR图像张量映射为可见光图像张量。
解码模块利用转置卷积将可见光图像张量上采样到与输入SAR图像相同大小。该模块的输入为1024通道的8×8大小的SAR图像编码张量，输出为3通道的256×256大小的可见光图像。
为了实现SAR图像到可见光图像之间的正确映射，本发明实施例还采用了一个判别器网络PatchGAN以交替训练网络SVTN，如图2所示。SAR表示高分辨率的SAR图像，co_Optical表示同一场景的可见光图像，G表示生成器网络SVTN，D则表示判别器网络PatchGAN。判别器的任务是将SVTN产生的可见光图像样本从真实的可见光图像样本中区别出来。如果x和y是真实的SAR图像和可见光图像对，那么D(x,y)应该预测为真；如果y是x生成的，那么D(x,y)应该预测为假。在对抗训练中，为了使SVTN网络能够将SAR图像正确映射到可见光图像空间，本发明实施例提出一个鲁棒的对抗训练目标函数，如公式(7)所示：
其中，LcGAN(G,D)为对抗学习函数，
是SAR图像经SVTN映射后的可见光图像与真实可见光图像的L1距离，α是L1距离权重。
对抗学习函数LcGAN(G,D)目的是利用SVTN的输出欺骗优化后的D，从而使G(x)越来越接近可见光图像样本y。其中，
目的是在对抗学习函数还不足以将SAR图像丰富的纹理信息映射到可见光空间的情况下，促使网络SVTN能对SAR图像的纹理信息进行正确映射。通过最优化生成器网络SVTN之后，本发明实施例就可以得到SAR图像到可见光图像的最佳的映射关系，然后用该SVTN网络将上述的备选高分辨率图像及真实高分辨率图像分别转换为可见光图像。
与以往直接学习低分辨率SAR图像和高分辨率SAR图像像映射的工作不同，本发明实施例提出一种高分辨率可见光图像引导的损失函数。它包括内容损失和评估损失，该损失函数如公式(8)所示。
Ltotal＝Lcontent+λLevaluation (8)
其中，Lcontent是SRUN目标函数，Levaluation为可见光图像空间内的评估损失，超参数λ控制可见光图像空间内的评估损失的权重，即从高分辨率可见光图像中挖掘出的SAR图像的高频信息在SAR图像超分辨率求解过程的相对贡献量。在本发明实施例中，采用损失函数的L1范数，是因为L1范数可以具有更好的收敛性能且可以忍受异常值，从而实现更好的图像超分辨率重建效果。其中，SRUN网络的目标函数可以参照现有技术中SRUN网络的目标函数进行设置，同样也采用目标函数的L1范数即可，在此不再进行赘述，Levaluation表达式如公式(9)所示：
其中，
则是将高分辨率SAR图像映射到可见光图像空间，然后依次计算其与高分辨率可见光图像的L1距离，
则是将经SRUN网络超分辨率输出的候选SAR图像映射到可见光图像空间，然后计算其与真实可见光图像的L1距离，它们的具体计算公式分别如公式(10)和公式(11)所示：
其中，Oi表示对应场景下的第i幅高分辨率可见光图像，H(·)表示SVTN学习到的SAR图像到可见光图像的映射关系，fSRUN(·)表示SRUN网络学习到的低分辨率SAR图像到高分辨率SAR图像的映射函数，
表示低分辨率SAR图像，
表示真实高分辨率SAR图像。理论上，如果SRUN超分辨率重建得到的高分辨率SAR图像是最优的，那么
应该和
非常接近。因此，本发明实施例通过学习一个高分辨率可见光图像引导的损失函数，使其提供有效的约束以辅助寻找从低分辨率SAR图像到高分辨率SAR图像的最佳映射函数。
具体地，在实际应用中，上述的步骤S104，具体包括如下步骤：
步骤S401：分别计算第一可见光图像和第二可见光图像与真实可见光图像之间的第一图像距离和第二图像距离。
步骤S402：计算备选高分辨率图像和真实高分辨率图像的第三图像距离。具体地，在本发明实施例中，该第一图像距离、第二图像距离及第三图像距离均为L1距离，
步骤S403：基于第一图像距离、第二图像距离及第三图像距离，构造损失函数。具体通过如下公式(12)表示：
其中，Ltotal表示损失函数，N表示训练样本集中低分辨率图像的样本数量，Li3表示第i个低分辨率图像对应的第三图像距离，Li1表示第i个低分辨率图像对应的第一图像距离，Li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
通过执行上述步骤，本发明实施例提供的图像超分辨率模型训练方法，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
本发明实施例还提供了一种图像超分辨率重建方法，如图3所示，该图像超分辨率重建方法具体包括如下步骤：
步骤S1：获取目标低分辨率图像。具体地，该目标低分辨率图像为通过合成孔径雷达获取的低分辨率SAR图像。
步骤S2：将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。具体预设图像超分辨率模型的输入输出结果的示例如图4所示，通过将低分辨率SAR图像输入至采用本发明另一实施例提供的图像超分辨率模型训练方法训练好的设图像超分辨率模型进行超分辨率重建，即可得到该低分辨率SAR图像对应的高分辨率SAR图像。
通过执行上述步骤，本发明实施例提供的图像超分辨率重建方法，通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
下面将结合具体对比实验，对本发明实施例提供的图像超分辨率模型训练方法以及图像超分辨率重建方法与传统图像超分辨率重建方法所得到的高分辨率SAR图像进行对比。
在本发明实施例中，实验中使用的SAR图像和对应的可见光图像数据均来自SEN1-2数据集。这是一个大型的公开数据集，包含282,384对SAR图像和对应的可见光图像，收集于全球各地的场景。其中，SAR图像来自Sentinel-1遥感卫星仅使用VV通道的数据，可见光图像是通过Sentinel-2遥感卫星使用2、3、4频带数据创建的。本发明实施例选取了其中的990对图像数据作为训练集，50对作为验证集，10对作为测试集，所有图像数据的大小为256×256。
首先对本发明实施例提出的SAR图像到可见光图像的映射网络SVTN进行单独训练，输入高分辨率SAR图像得到映射后的高分辨率可见光图像。本发明实施例以更新比设为2的方式交替训练生成器SVTN和判别器PatchGAN。所有LeakyRelu的负斜率设置为0.2，并采用β1＝0.5和β2＝0.999的Adam模型参数优化器，minibatch设为1。学习率初始化为10-4，每200个epoch减半。然后，对高分辨率SAR图像进行双三次降采样插值，生成低分辨率SAR图像。接着，使用低分辨率SAR图像作为输入，并通过随机水平翻转和垂直翻转来增加训练数据。最后，联合学习SVTN和SRUN得到最终的超分辨率网络。也就是，SRUN从头开始训练，而SVTN权重从预训练模型初始化。具体训练设置如下：LeakyRelu的负斜率也设置为0.2，权重参数λ设置为0.1，RCAB的数量设为30，并采用β1＝0.9和β2＝0.999的Adam模型参数优化器，minibatch也为1。学习率初始化为10-4，然后按照余弦退火的方式降为0。
具体地，提供使用两种广泛应用的图像质量评价指标对本发明实施例提出的方法的超分辨率性能进行评估：峰值信噪比(Peak Signal-to-Noise Ratio,简称PSNR)和结构相似度(Structural Similarity,简称SSIM)。将本发明实施例所提出的基于高分辨率可见光图像引导的预设图像超分辨率模型简称OGRSN与六种目前领先的基于卷积神经网络的图像超分辨率方法：具体为ESPCN、SRResNet、RRDB、DDBPN、RCAN以及SAN进行了比较。在实验中，所有的对比方法都使用其公开的参数设置和相同的测试数据以进行公平的比较。
为了客观评价本发明实施例所提出的SAR图像超分辨率网络，表1和表2分别列出了各种方法在放大倍数为2、4、8和16时的超分辨率SAR图像与真实高分辨率SAR图像的PSNR和SSIM平均值。
表1
表2
从表1-2可看出，基于深度学习模型的超分辨率性能比经典的Bicubic插值有了显著改善。这是因为所有基于深度学习的模型都使用了一个设计良好的卷积神经网络来直接学习低分辨率SAR图像和高分辨率SAR图像之间的映射关系。然而，它们忽略了高分辨率可见光图像引导对SAR图像超分辨率重建的重要性，导致其重建出的SAR图像往往缺乏纹理细节，客观评价指标也较低。与这些模型不同，本发明实施例设计一种SAR图像到可见光图像的映射网络SVTN，并将其结合到SAR图像超分辨率网络OGSRN。通过SVTN在可将光图像空间内评估高分辨率SAR图像和经SRUN输出的SAR图像的差异以提供SAR图像高频信息反馈。在高分辨率可见光图像引导下，OGSRN在所有测试数据集的各种放大倍数情况下都取得了最好的评价指标值。具体来说，在放大倍数分别为2、4、8及16时，OGSRN比第二领先的算法的PSNR值高出0.07、1.87、1.89、3.76dB；SSIM值提高了0.007、0.093、0.191、0.293。
从这些数字可看出，随着放大倍数的增大，OGSRN相对现有领先的超分辨率算法的性能指标差距也随之显著增大。这说明OGSRN在具有大尺度放大倍数的SAR图像超分辨率任务时仍然保持着较好性能，且在放大倍数为16时甚至能达到第二领先的超分辨率模型SAN进行8倍超分辨率重建时的评价指标。这主要有以下两点原因：第一，OGSRN具有U形结构，输入和输出之间大量共享的SAR图像低级信息如结构信息可以直接通过跳跃式连接传输，从而使OGSRN网络能专注于恢复出与原始高分辨率SAR图像相比损失掉的高频信息。第二，OGSRN中的SVTN还可以通过高分辨率可见光图像提供SAR图像高频信息反馈，从而可以引导OGSRN在SAR图像超分辨率重建过程输出高保真度的高分辨率的SAR图像。
本发明实施例所提出的OGSRN方法与其他算法相比，超分辨率重建出的结果更加准确，输出的图像比其他算法重建出的图像更接近于真实的高分辨率图像。
以上实验结果表明，大多数图像超分辨率方法不能恢复正确的SAR图像细节信息。然而，在高分辨率可见光图像的引导下，本发明实施例提出的OGSRN在相同测试集上能重建出更多准确的高频细节，具有最高的评价指标值，进一步证明了SVTN能够从高分辨率可见光图像挖掘出SAR图像高频信息并有效地对SAR图像超分辨率过程指导。
综上，本发明实施例提出了一种高分辨率的可见光图像引导的SAR图像超分辨率深度神经网络OGSRN。该网络由两个子网络组成：SAR图像超分辨率网络(SRUN)和SAR图像到可见光图像转换网络(SVTN)。整个重建过程分为两个阶段：在阶段1，使用SRUN对输入的低分辨率SAR图像进行超分辨率重建。在阶段2，首先通过SVTN先将重建后的SAR图像映射到可见光图像空间，然后计算其与真实高分辨率SAR图像的对应可见光图像之间的差异以实现可见光图像引导作用。大量的实验结果表明，在可见光图像提供的反馈信息的帮助下，OGSRN获得了与当前领先的超分辨率算法相比更具有竞争力的结果，突破了现有超分辨率算法的放大倍数限制。
本发明实施例还提供了一种图像超分辨率模型训练装置，如图5所示，该图像超分辨率模型训练装置包括：
第一获取模块101，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第一处理模块102，用于将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第二处理模块103，用于分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第三处理模块104，用于基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
第四处理模块105，用于基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。详细内容参见上述方法实施例中步骤S105的相关描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的图像超分辨率模型训练装置，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
根据本发明实施例还提供了一种图像超分辨率重建装置，如图6所示，该图像超分辨率重建装置包括：
第二获取模块1，用于获取目标低分辨率图像。详细内容参见上述方法实施例中步骤S1的相关描述，在此不再进行赘述。
第五处理模块2，用于将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。详细内容参见上述方法实施例中步骤S2的相关描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的图像超分辨率重建装置，通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
根据本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种图像超分辨率模型训练方法，其特征在于，包括：
获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
2.根据权利要求1所述的方法，其特征在于，所述预设图像超分辨率模型通过如下方式建立：
获取预设图像超分辨率模型的目标放大倍数；
基于所述目标放大倍数确定所述预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，所述上采样部分和所述下采样部分为对称结构；
基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建所述预设图像超分辨率模型。
3.根据权利要求1所述的方法，其特征在于，所述分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像，包括：
获取当前待转换图像，并对所述当前待转换图像进行卷积编码，得到待转换图像编码张量；
基于多层残差网络，将所述待转换图像编码张量映射为可见光图像张量；
对所述可见光图像张量进行转置卷积解码，得到与所述当前待转换图像尺寸相同的可见光图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数，包括：
分别计算所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的第一图像距离和第二图像距离；
计算所述备选高分辨率图像和所述真实高分辨率图像的第三图像距离；
基于所述第一图像距离、所述第二图像距离及所述第三图像距离，构造所述损失函数。
5.根据权利要求4所述的方法，其特征在于，所述损失函数由如下公式表示：
其中，Ltotal表示损失函数，N表示训练样本集中低分辨率图像的样本数量，Li3表示第i个低分辨率图像对应的第三图像距离，Li1表示第i个低分辨率图像对应的第一图像距离，Li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
6.一种图像超分辨率重建方法，其特征在于，包括：
获取目标低分辨率图像；
将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用如权利要求1-5任一项所述的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。
7.一种图像超分辨率模型训练装置，其特征在于，包括：
第一获取模块，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
第一处理模块，用于将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
第二处理模块，用于分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
第三处理模块，用于基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
第四处理模块，用于基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
8.一种图像超分辨率重建装置，其特征在于，包括：
第二获取模块，用于获取目标低分辨率图像；
第五处理模块，用于将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用如权利要求7所述的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5任一项所述的方法，或者执行权利要求6所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1-5任一项所述的方法，或者执行权利要求6所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011521181.4A CN112488924B (zh) | 2020-12-21 | 2020-12-21 | 一种图像超分辨率模型训练方法、重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011521181.4A CN112488924B (zh) | 2020-12-21 | 2020-12-21 | 一种图像超分辨率模型训练方法、重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112488924A true CN112488924A (zh) | 2021-03-12 |
| CN112488924B CN112488924B (zh) | 2023-10-27 |
Family
ID=74915181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011521181.4A Active CN112488924B (zh) | 2020-12-21 | 2020-12-21 | 一种图像超分辨率模型训练方法、重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488924B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
| CN113470127A (zh) * | 2021-09-06 | 2021-10-01 | 成都国星宇航科技有限公司 | 基于星载云检测的光学图像有效压缩方法 |
| CN113807395A (zh) * | 2021-08-10 | 2021-12-17 | 深延科技(北京)有限公司 | 模型训练方法、超分辨率感知方法及相关装置 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
| CN114332373A (zh) * | 2021-12-29 | 2022-04-12 | 华侨大学 | 一种克服继电器金属表面反光的磁路落差检测方法及系统 |
| WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
| WO2023036164A1 (zh) * | 2021-09-13 | 2023-03-16 | 华为技术有限公司 | 一种基于物理信息神经网络的模型训练方法及相关装置 |
| WO2023050587A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 一种暗场超分辨率成像方法、模型评估方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN106529472A (zh) * | 2016-10-24 | 2017-03-22 | 深圳大学 | 基于大尺度高分辨率高光谱图像的目标探测方法及装置 |
| CN110163802A (zh) * | 2019-05-20 | 2019-08-23 | 电子科技大学 | 一种基于神经网络的sar图像超分辨方法 |
| CN110516606A (zh) * | 2019-08-28 | 2019-11-29 | 北京观微科技有限公司 | 高分辨率卫星影像任意方向舰船目标检测方法 |
| CN110827201A (zh) * | 2019-11-05 | 2020-02-21 | 广东三维家信息科技有限公司 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
-
2020
- 2020-12-21 CN CN202011521181.4A patent/CN112488924B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170024855A1 (en) * | 2015-07-26 | 2017-01-26 | Macau University Of Science And Technology | Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN106529472A (zh) * | 2016-10-24 | 2017-03-22 | 深圳大学 | 基于大尺度高分辨率高光谱图像的目标探测方法及装置 |
| CN110163802A (zh) * | 2019-05-20 | 2019-08-23 | 电子科技大学 | 一种基于神经网络的sar图像超分辨方法 |
| CN110516606A (zh) * | 2019-08-28 | 2019-11-29 | 北京观微科技有限公司 | 高分辨率卫星影像任意方向舰船目标检测方法 |
| CN110827201A (zh) * | 2019-11-05 | 2020-02-21 | 广东三维家信息科技有限公司 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 朱正为 等: "基于MMSE-T的合成孔径雷达图像超分辨率重建", 浙江大学学报(工学版), vol. 45, no. 09, pages 1576 - 1580 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN113421190A (zh) * | 2021-06-24 | 2021-09-21 | 深圳大学 | 一种超分辨率方法、装置、计算机设备及存储介质 |
| CN113807395A (zh) * | 2021-08-10 | 2021-12-17 | 深延科技(北京)有限公司 | 模型训练方法、超分辨率感知方法及相关装置 |
| WO2023029418A1 (zh) * | 2021-09-02 | 2023-03-09 | 深圳市中兴微电子技术有限公司 | 图像超分辨率模型训练方法、装置和计算机可读存储介质 |
| CN113470127A (zh) * | 2021-09-06 | 2021-10-01 | 成都国星宇航科技有限公司 | 基于星载云检测的光学图像有效压缩方法 |
| WO2023036164A1 (zh) * | 2021-09-13 | 2023-03-16 | 华为技术有限公司 | 一种基于物理信息神经网络的模型训练方法及相关装置 |
| WO2023050587A1 (zh) * | 2021-09-30 | 2023-04-06 | 深圳先进技术研究院 | 一种暗场超分辨率成像方法、模型评估方法及系统 |
| CN114332373A (zh) * | 2021-12-29 | 2022-04-12 | 华侨大学 | 一种克服继电器金属表面反光的磁路落差检测方法及系统 |
| CN114092337A (zh) * | 2022-01-19 | 2022-02-25 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112488924B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488924B (zh) | 一种图像超分辨率模型训练方法、重建方法及装置 | |
| Fu et al. | Reciprocal translation between SAR and optical remote sensing images with cascaded-residual adversarial networks | |
| CN111784560A (zh) | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 | |
| CN114529830A (zh) | 基于混合卷积网络遥感图像时空融合方法 | |
| CN114868384B (zh) | 用于图像处理的设备及方法 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN113344869A (zh) | 一种基于候选视差的行车环境实时立体匹配方法及装置 | |
| Cao et al. | Research for face image super-resolution reconstruction based on wavelet transform and SRGAN | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| CN113724308B (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| Zhang et al. | Learning synthetic aperture radar image despeckling without clean data | |
| US11609332B2 (en) | Method and apparatus for generating image using LiDAR | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| Liu et al. | Circle-net: An unsupervised lightweight-attention cyclic network for hyperspectral and multispectral image fusion | |
| CN112883908A (zh) | 一种基于空频特征一致性的sar图像到光学图像映射的方法 | |
| CN116245757B (zh) | 多模态数据的多场景通用性遥感影像云修复方法和系统 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| Valli Bhasha et al. | Image super resolution model enabled by wavelet lifting with optimized deep convolutional neural network | |
| CN115953544B (zh) | 一种三维重建方法、装置、电子设备及可读存储介质 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN117911830B (zh) | 一种光谱保真的全局交互高光谱多光谱跨模态融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |