CN117853340B - 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 - Google Patents
基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 Download PDFInfo
- Publication number
- CN117853340B CN117853340B CN202410257166.5A CN202410257166A CN117853340B CN 117853340 B CN117853340 B CN 117853340B CN 202410257166 A CN202410257166 A CN 202410257166A CN 117853340 B CN117853340 B CN 117853340B
- Authority
- CN
- China
- Prior art keywords
- video
- degradation
- vector quantization
- resolution
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 73
- 230000015556 catabolic process Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013139 quantization Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 14
- 125000004122 cyclic group Chemical group 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法,采用低质量遥感视频数据集训练向量量化GAN模型,建立降质先验模型;将高分视频通过双三次下采样得到低分视频,利用预训练好的向量量化GAN模型生成融合降质先验的伪低分视频,训练单向循环超分重建网络;将待处理视频输入预训练好的单向超分重建网络,获得对应的超分结果。该方法通过引入向量量化GAN模型,实现对降质先验的准确建模,提高超分模型的泛化能力;并采用单向循环网络结构,避免了对齐过程中的计算资源大量消耗,提高了超分辨率重建效果。
Description
技术领域
本发明涉及模式识别与机器学习领域,特别涉及遥感图像超分辨率重建,更具体的说是涉及基于单向卷积网络和降质建模的遥感视频超分辨率重建方法。
背景技术
遥感图像是通过各种传感器获得的包含地物电磁波信息的图片,具有种类多,数据量大,涵盖的时间和空间范围广的特点。遥感视频是指视频卫星获得的遥感数据,特点是将某一时间段内获取的遥感数据在时间方向上排列,具有时间上的连续性。空间分辨率是描述遥感视频的一个重要指标,指单帧遥感图像中能区分的最小地面单元,即单帧遥感图像的一个像素的长度对应实际地面上的一段距离,该距离决定了遥感视频能包含的最细微的空间信息。提升空间分辨率是遥感领域的重要课题,除了在硬件层面直接提高传感器本身的性能外,还可在软件层面设计算法实现遥感视频空间分辨率的提升,这类技术被称为超分辨率重建技术。
图像超分辨率重建技术(以下简称超分重建)可以根据不同任务需求,将低分辨率图像(以下简称低分图像)按照一定比例因子恢复到高分辨率图像(以下简称高分图像),如果是在遥感图像空间尺度进行超分则可以提升其空间分辨率。近年来随着图像处理技术的发展,研究者发现利用视频的时空信息可以更好地恢复高分图像的信息,因此学界先后提出在视频上进行的超分重建方法。视频超分是在图像超分的基础上发展而来的。最简单的视频超分方法是逐帧进行图像超分,最后再将超分的结果堆叠起来,构成超分视频。后来人们发现用从视频中采集的连续序列帧作为输入,结合帧间信息重建比逐帧图像超分更好。目前先进的视频超分主要基于深度学习技术,利用循环网络提取序列帧图像的特征然后进行上采样,得到视频超分结果。但是在遥感领域缺少这些方法的应用,因此有必要结合遥感数据特点开发具备实用性的遥感视频超分方法。
由于遥感数据不具有高分辨率客观真值,而且受数据获取和传输影响具备复杂且不可知的降质过程,因此真实遥感超分应用实际上属于盲超分问题。盲超分问题指高分图像到低分图像的降质过程具备多样性和未知性,因此需要在模型训练阶段提供多种降质影响下的低分数据,从而使模型获得更好的泛化能力。根据盲超分思想,现有的降质过程建模主要包括两种方式,显式建模和隐式建模。显式建模将降质过程建模为模糊、噪声和压缩伪影等及其叠加,隐式建模则通过网络学习模糊核等降质因子。由于不依赖人工设计的降质先验,隐式建模通常具有更强大的降质表征能力和泛化能力,但是网络设计相应地更加困难。利用盲超分思想,在遥感视频超分重建过程中引入多种降质信息,可以有效提升超分模型的泛化能力,更符合实际遥感应用的需求。
目前遥感视频超分重建方法可分为两类:对齐和非对齐的方法。对齐就是将序列帧图像中位置发生偏移的目标特征移到同一位置,方便卷积网络充分利用不同时间状态下的特征。显式的对齐方法包括估计光流并进行运动补偿等,隐式对齐方法是为了减少运动信息估计不准确带来的误差,主要方法有可变性卷积。通常而言,对齐的超分方法会消耗更多的计算资源,而且不准确的光流估计会导致结果出现大量的伪影。非对齐的方法自动学习序列帧图像的特征和运动信息,这其中空间非对齐方法将输入帧直接进行二维卷积,然后直接融合多帧特征。通常这些方法不考虑遥感数据的降质问题,而是仅通过显式下采样获得用于网络训练的低分-高分图像对,这可能导致超分重建结果中出现不理想的伪影等现象,从而降低模型的泛化能力,限制超分算法在真实场景下的应用。
实际应用中遥感数据并没有高分对作为客观真值,在数据获取过程中也可能受复杂降质的影响,这种问题在超分重建领域称为盲超分。现有的盲超分技术通过显式或隐式方法建模降质先验,然后将先验和原始低分数据融合以获得包含多种降质信息的训练数据,从而增强超分模型在真实世界中的泛化能力。目前盲超分思想在遥感视频超分中的应用探索尚不充分,已有的显式建模方法依赖于人工设计的降质过程,不能有效表示遥感数据复杂的降质先验。而隐式建模方法受限于训练稳定性,只能将降质建模过程融合到超分网络中,在特征层面上添加降质信息,这也限制了降质模型的表征能力,不能充分发挥盲超分思想的优势。此外,先进的盲超分方法大多针对于真实世界场景下的图像数据,没有充分考虑遥感数据具备的广域、远距离和多变场景的特点,无法直接用于遥感视频超分任务。
发明内容
有鉴于此,本发明提出了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法,可有效解决现有技术中遥感视频超分辨率重建存在的降质先验建模问题、对齐方法问题及盲超分问题。
为了实现上述目的,本发明采用如下技术方案:
本发明实施例提供基于单向卷积网络和降质建模的遥感视频超分辨率重建方法,包括以下步骤:
S1、采用低质量遥感视频数据集训练向量量化GAN模型,建立降质先验模型;所述向量量化GAN模型用于建立降质码本并实现降质建模;
S2、将高分视频通过双三次下采样得到低分视频,利用预训练好的所述向量量化GAN模型生成融合降质先验的伪低分视频,采用所述伪低分视频训练单向循环超分重建网络;
S3、将待处理视频输入预训练好的单向循环超分重建网络,获得对应的超分结果。
进一步地,所述步骤S1中的向量量化GAN模型,包括:编码器、向量量化码本和解码器,通过多尺度特征提取,生成包含多种降质的低分辨率视频。
进一步地,所述步骤S1中的向量量化GAN模型的损失函数由向量量化损失、感知损失/>和对抗性损失/>的组合组成;其中,所述向量量化损失/>中添加了相应的分支项,损失函数如下式表示:
其中,x、表示向量量化GAN模型的低分视频输入和降质低分视频输出,/>、分别表示向量量化码本的输入和输出,f∈{0.5,0.25,0.125},表示因子f对应的网络分支;训练时的输入为低质量遥感视频数据,网络在训练过程中建立并更新向量量化码本,从而建模低质量数据中包含的降质先验。
进一步地,所述步骤S2中的单向循环超分重建网络,通过结构剪枝和滑动窗口机制,利用连续图像帧序列进行超分辨率重建。
进一步地,所述步骤S2中,训练单向循环超分重建网络分两步进行:
第一步,在数据集上独立训练单向循环网络,此时高分-低分视频对通过双三次下采样显式获得,损失函数为损失,学习率为/>;
第二步,单向循环超分重建网络和向量量化GAN模型联合训练,此时高分-低分视频对通过双三次插值和降质退化模型生成,损失函数为和/>的组合,学习率为/>,该步训练时参数更新仅针对单项循环网络进行。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法:通过引入向量量化GAN模型,实现了对降质先验的准确建模,提高了超分模型的泛化能力。并采用单向循环网络结构,避免了对齐方法中的计算资源大量消耗,提高了超分辨率重建效果。另外,引入盲超分思想,通过向量量化GAN联合训练,充分考虑遥感数据的多样性和未知性降质,提高了模型在真实场景下的应用性,有助于提高遥感视频超分辨率重建的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法流程图;
图2为本发明提供的基于单向卷积网络和降质建模的遥感视频超分辨率重建方法原理图;
图3为本发明提供的向量量化GAN模型结构图;
图4为本发明提供的单向循环超分重建网络结构图;
图5为本发明提供的向量量化GAN模型和单向循环超分重建网络整体框架图。
图6为SatSOT超分视频的某一帧示意图。
图7为SatSTB超分结果用于目标检测的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,本发明实施例公开了基于单向卷积网络和降质建模的遥感视频超分辨率重建方法,包括以下步骤:
S1、用低质量遥感视频数据集训练向量量化GAN模型,建立降质先验模型;所述向量量化GAN模型用于建立降质码本并实现降质建模;该步骤建立了一个降质先验模型,用于对低分辨率视频进行降质建模和生成降质码本,为后续的超分辨率重建提供基础。
S2、将高分视频通过双三次下采样得到低分视频,利用预训练好的所述向量量化GAN模型生成融合降质先验的伪低分视频,采用所述伪低分视频训练单向循环超分重建网络; 通过融合降质先验的伪低分辨率视频训练一个超分辨率重建网络,提高了网络的重建性能和对降质数据的鲁棒性。
S3、将待处理视频输入预训练好的单向循环超分重建网络,获得对应的超分结果。
该方法通过引入向量量化GAN模型,实现了对降质先验的准确建模,提高了超分模型的泛化能力。并采用单向循环网络结构,避免了对齐方法中的计算资源大量消耗,提高了超分辨率重建效果。另外,引入盲超分思想,通过向量量化GAN联合训练,充分考虑遥感数据的多样性和未知性降质,提高了模型在真实场景下的应用性,有助于提高遥感视频超分辨率重建的精度。
整体来说,本发明的具体实现流程如图2所示,各部分具体实施细节如下:
1.训练向量量化GAN模型,建立降质先验模型
本发明包括两个相互独立的深度神经网络:向量量化GAN和单向循环网络。其中向量量化GAN用于建立降质码本并实现降质建模。训练阶段首先在低质量遥感视频数据集上训练向量量化GAN,网络结构如图3所示。
a.向量量化GAN模型
向量量化GAN是由编码器、向量量化码本和解码器组成的网络。本算法利用向量量化GAN对遥感视频中存在的多种退化进行建模。受金字塔网络中不同层次的特征图主要包含不同频率信息的思想启发,本算法为向量量化GAN添加两个不同尺度的分支。如图3所示,这些分支共享一个浅层特征提取模块(即图3中最右边开始的纯净LRV之后连接的第一个Conv卷积块)。随着编码特征图尺度的减小,逐渐引出三个分支,对应于特征图尺度减小的因子{0.5,0.25,0.125}。随后,使用预训练好的码本来量化降解先验并将其添加到特征图中。由于多分支结构保留了不同层次的信息,增强的VQGAN(即向量量化GAN)可以生成包含多种降质的低分视频,即图3中的伪低分视频。
在本算法中除了共享特征提取层外,0.5尺度分支包含2组卷积层,0.25和0.125尺度分支各包含1组独立堆叠的卷积层。这些卷积层由二维卷积和ReLU激活函数组成,在前向传播时不改变特征图的空间形状。
b.损失函数
向量量化GAN在低质量卫星视频数据集上训练,利用卫星数据的退化先验建立码本。本算法使用具有1024个条目和512个通道的码本,采用学习率为的Adam优化器。损失函数由向量量化损失/>、感知损失/>和对抗性损失/>的组合组成,并在向量量化损失中添加了相应的分支项,损失函数如下式所示:
其中,x和表示向量量化GAN的输入和输出,/>和/>分别表示向量量化码本的输入和输出,f∈{0.5,0.25,0.125},表示因子f对应的网络分支。训练时的输入为低质量遥感视频数据,网络在训练过程中建立并更新向量量化码本,从而建模低质量数据中包含的降质先验。
2.联合降质先验模型训练单向循环超分重建网络
利用第一阶段训练好的向量量化GAN,可以生成融合了降质先验的伪低分视频,随后该低分视频用于单向循环网络的训练。第二阶段训练单向循环网络的过程在高质量遥感视频数据集上进行,网络结构如图4所示。
循环网络结构已被广泛应用于视频超分中。本算法采用单向循环网络,移除了反向序列输入,同时对网络进行结构剪枝。具体而言,本算法减少了循环块中冗余的深层残差连接。此外,本算法删除了的反馈结构,以减少网络计算资源消耗。该网络通过滑动窗口获取连续的图像帧序列。例如,当窗口大小为3时,网络接受/>的序列输入,其中/>表示当前时间t对应的图像帧。本算法将滑动窗口大小设置为5,即一次性输入五帧连续图像。在循环模块内,多尺度特征融合结构可以充分利用网络的表示能力。如图4所示,本算法采用对应于比例因子分别为{1,0.5,0.25}的三分支结构,每个因子对应的分支中分别包含{4,2,1}个残差块,其中残差块的结构遵循本领域通用的设置。
向量量化GAN训练完成后,在高质量的卫星视频数据集上联合向量量化GAN训练单向循环网络。由于单向循环网络和向量量化GAN的联合训练需要消耗较大,因此单向循环网络的训练分两步进行。第一步,在数据集上独立训练单向循环网络,此时高分-低分视频对通过双三次下采样显式获得,损失函数为损失,学习率为/>。第二步,单向循环网络和向量量化GAN联合训练,此时高分-低分视频对通过双三次插值和降质退化模型生成,损失函数为/>和/>的组合,学习率为/>,该步训练时参数更新仅针对单项循环网络进行。
3.单向循环网络推理
本算法网络的整体框架如图5所示。
本算法的训练和推理过程不同。在训练阶段,高分视频通过显式下采样得到纯净的低分视频,然后通过预训练好的向量量化GAN添加降质先验并生成伪降质低分视频。随后,伪低分视频输入单向循环网络进行超分重建。最后超分结果和高分视频计算损失并更新单向循环网络权重。在推理阶段,向量量化GAN不起作用,待处理视频直接输入单向循环网络并获得一定比例因子下的超分结果。
本发明设计了单向循环网络和降质建模相结合的遥感视频超分重建方法,算法包括相互独立的单向循环网络和向量量化GAN。实验在SatSOT和SatMTB两个遥感视频数据集上进行。
其中,SatSOT数据集是一个用于物体跟踪的卫星场景数据集。它由包含地面真实场景的高分辨率遥感卫星图像组成,包含105个遥感视频序列,覆盖火车、汽车、飞机、轮船等场景,共计27664帧,空间分辨率较低。
SatMTB数据集是一个多任务卫星图像数据集。它包含了来自不同传感器和分辨率的卫星图像,以及与这些图像相关的多个任务标注,如目标检测、语义分割、场景分类等;其包含249个以飞机、轮船、车辆和火车为主题的遥感视频,帧数超过50,000帧,空间分辨率更高。训练时使用两个NVIDIA 4090ti GPU。在第一阶段,向量量化GAN在SatSOT上训练150轮次。随后,单向循环网络在SatMTB上分别独立地和联合地训练300,000代。在测试过程中,由于没有客观真值视频,因此采用广泛用于超分辨率质量评估的无参考图像质量评估指标NIQE。
实验结果如图6-7所示,图6为本算法在SatSOT测试集上的4倍超分结果,NIQE为3.8888。图7为本算法在SatSTB测试集上的的超分结果和目标检测算法结合的实验结果,平均检测精度可达到99.7%。该技术方案的实际应用效果表现出对多种遥感场景的适用性,包括车辆、船只、飞机等,具备更广泛的实际应用价值。
本发明的技术方案通过创新性的结合向量量化GAN和单向循环网络,有效解决了遥感视频超分辨率重建领域中的关键问题,取得了显著的技术效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (1)
1.基于单向卷积网络和降质建模的遥感视频超分辨率重建方法,其特征在于,包括以下步骤:
S1、采用低质量遥感视频数据集训练向量量化GAN模型,建立降质先验模型;所述向量量化GAN模型用于建立降质码本并实现降质建模;
S2、将高分视频通过双三次下采样得到低分视频,利用预训练好的所述向量量化GAN模型生成融合降质先验的伪低分视频,采用所述伪低分视频训练单向循环超分重建网络;
S3、将待处理视频输入预训练好的单向循环超分重建网络,获得对应的超分结果;
其中,所述步骤S1中的向量量化GAN模型,包括:编码器、向量量化码本和解码器,通过多尺度特征提取,生成包含多种降质的低分辨率视频;所述步骤S1中的向量量化GAN模型的损失函数由向量量化损失Lvq、感知损失Lper和对抗性损失Ladv的组合组成;其中,所述向量量化损失Lvq中添加了相应的分支项,损失函数如下式表示:
L=Lvq+Lper+Ladv
其中,x、表示向量量化GAN模型的低分视频输入和降质低分视频输出,encoder(·)、vq(·)分别表示向量量化码本的输入和输出,f∈{0.5,0.25,0.125},表示因子f对应的网络分支;训练时的输入为低质量遥感视频数据,向量量化GAN模型在训练过程中建立并更新向量量化码本,从而建模低质量数据中包含的降质先验;
所述步骤S2中的单向循环超分重建网络,通过结构剪枝和滑动窗口机制,利用连续图像帧序列进行超分辨率重建;
所述步骤S2中,训练单向循环超分重建网络分两步进行:
第一步,在数据集上独立训练单向循环网络,此时高分-低分视频对通过双三次下采样显式获得,损失函数为L1损失,学习率为10-4;
第二步,单向循环超分重建网络和向量量化GAN模型联合训练,此时高分-低分视频对通过双三次插值和降质退化模型生成,损失函数为L1和Lper的组合,学习率为5×10-5,该步训练时参数更新仅针对单向循环网络进行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410257166.5A CN117853340B (zh) | 2024-03-07 | 2024-03-07 | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410257166.5A CN117853340B (zh) | 2024-03-07 | 2024-03-07 | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117853340A CN117853340A (zh) | 2024-04-09 |
CN117853340B true CN117853340B (zh) | 2024-06-04 |
Family
ID=90532965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410257166.5A Active CN117853340B (zh) | 2024-03-07 | 2024-03-07 | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117853340B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815516A (zh) * | 2020-07-08 | 2020-10-23 | 北京航空航天大学 | 一种弱监督红外遥感图像超分辨率重建方法 |
CN114820303A (zh) * | 2022-03-24 | 2022-07-29 | 南京邮电大学 | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 |
CN116805282A (zh) * | 2023-06-30 | 2023-09-26 | 清华大学 | 图像超分辨率重建方法、模型训练方法、装置及电子设备 |
CN117593187A (zh) * | 2023-11-24 | 2024-02-23 | 北京航空航天大学 | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10898149B2 (en) * | 2018-12-11 | 2021-01-26 | International Business Machines Corporation | Standardizing breast density assessments |
-
2024
- 2024-03-07 CN CN202410257166.5A patent/CN117853340B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111815516A (zh) * | 2020-07-08 | 2020-10-23 | 北京航空航天大学 | 一种弱监督红外遥感图像超分辨率重建方法 |
CN114820303A (zh) * | 2022-03-24 | 2022-07-29 | 南京邮电大学 | 低清图像重建超分辨率人脸图像的方法、系统及存储介质 |
CN116805282A (zh) * | 2023-06-30 | 2023-09-26 | 清华大学 | 图像超分辨率重建方法、模型训练方法、装置及电子设备 |
CN117593187A (zh) * | 2023-11-24 | 2024-02-23 | 北京航空航天大学 | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 |
Non-Patent Citations (5)
Title |
---|
Diverse Hyperspectral Remote Sensing Image Synthesis With Diffusion Models;Liu, LQ 等;IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING;20240204;全文 * |
Remote Sensing Image Classification Based on Multi-Spectral Cross-Sensor Super-Resolution Combined With Texture Features: A Case Study in the Liaohe Planting Area;Han, H 等;IEEE ACCESS;20240222;全文 * |
基于对抗学习的遥感图像数据增强技术研究;马洪祥;中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑;20220415;全文 * |
基于局部自适应阈值的红外遥感图像弱小目标检测;刘畅 等;第十七届中国体视学与图像分析学术会议论文集;20221111;全文 * |
基于量化误差估计模型的视频超分辨率重建算法;王春萌;;金陵科技学院学报;20200330(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117853340A (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Video super-resolution based on deep learning: a comprehensive survey | |
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN109377530B (zh) | 一种基于深度神经网络的双目深度估计方法 | |
Li et al. | Survey of single image super‐resolution reconstruction | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN109064405A (zh) | 一种基于双路径网络的多尺度图像超分辨率方法 | |
CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
CN109949222B (zh) | 基于语义图的图像超分辨率重建方法 | |
CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
CN111242999B (zh) | 基于上采样及精确重匹配的视差估计优化方法 | |
CN110223234A (zh) | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 | |
CN115035171B (zh) | 基于自注意力导向特征融合的自监督单目深度估计方法 | |
Wang et al. | Video super-resolution via residual learning | |
CN114581304B (zh) | 一种基于循环网络的图像超分辨率和去雾融合方法及系统 | |
CN114170286B (zh) | 一种基于无监督深度学习的单目深度估计方法 | |
CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
Yang et al. | A survey of super-resolution based on deep learning | |
CN115131418A (zh) | 一种基于Transformer的单目深度估计算法 | |
CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
CN117853340B (zh) | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 | |
CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
Kong et al. | Dynamic Frame Interpolation in Wavelet Domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |