CN116957940A - 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 - Google Patents
基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN116957940A CN116957940A CN202310969541.4A CN202310969541A CN116957940A CN 116957940 A CN116957940 A CN 116957940A CN 202310969541 A CN202310969541 A CN 202310969541A CN 116957940 A CN116957940 A CN 116957940A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- resolution
- super
- contourlet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 67
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，包括：获取待重建的低分辨率图像；将低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像；轮廓波知识引导网络，包括依次级联的contourlet滤波器模块、嵌入子网络、预测网络和超分辨重建模块，其中，低分辨率图像输入嵌入子网络，再经过预测网络和超分辨重建模块后得到对应的超分辨率重建图像；嵌入子网络对输入的低分辨率图像进行特征提取，得到的特征图为预测轮廓波系数提供充足的信息，预测网络对输入的特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，超分辨重建模块对轮廓波分解系数预测值进行逆变换得到超分辨率重建图像。
Description
技术领域
本发明属于图像超分辨率重建技术领域，具体涉及一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法。
背景技术
随着科技的不断发展，人们对高分辨率图像的需求越来越迫切。由于通过硬件提高分辨率的方式资源有限且价格较高，一般采用基于算法的图像超分辨率重建。单张图像超分辨率重建(Single Image Super-Resolution，SISR)能够恢复图像在下采样过程中丢失的细节信息，使得图像更加清晰细腻。因此在遥感卫星成像、视频监控、生物医学等领域应用十分广泛。
传统的基于插值的SISR包括最近邻插值法、双线性插值法、三次插值法、双三次插值法等。此种方法快速简单，但存在精度缺陷。深度学习的出现为SISR开辟了新的道路，通过端到端学习的方法分析低分辨率图像与对应的高分辨率图像之间的统计关系，从而实现高分辨率图像的重建。比较有代表性的有SRCNN(Super-Resolution ConvolutionalNeural Network)和FSRCNN(Fast Super-Resolution Convolutional Neural Network)等，这些方法虽然在一定程度上弥补了传统的SISR方法的缺陷，在视觉感官上提高了图像的清晰度，但由于缺乏对高频信息特征的提取能力，提取到的多为浅层特征，具有一定的精度缺陷，一定程度上影响重建效果。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，包括：
步骤1：获取待重建的低分辨率图像；
步骤2：将所述低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像；
所述轮廓波知识引导网络，包括依次级联的contourlet滤波器模块、嵌入子网络、预测网络和超分辨重建模块，其中，所述低分辨率图像输入所述嵌入子网络，再经过所述预测网络和所述超分辨重建模块后得到对应的所述超分辨率重建图像；
所述嵌入子网络对输入的所述低分辨率图像进行特征提取得到特征图，所述预测网络对输入的所述特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，所述超分辨重建模块对所述轮廓波分解系数预测值进行逆变换得到所述超分辨率重建图像。
与现有技术相比，本发明的有益效果在于：
1.本发明的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，将传统的信号处理中的contourlet特征分解和深度学习框架相结合，将图像重建转化为contourlet系数和其GGD分布的学习问题，contourlet分解系数和GGD的参数均能够有效地对特征进行稀疏表示，在仅用少量系数即可捕捉图像中多尺度、多方向的边缘轮廓和方向性纹理，提高了超分辨率图像的重建性能。
2.本发明的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，通过多尺度的contourlet滤波器模块以多尺度、多方向的方式提取稀疏特征并集成到网络中，充分利用频域的contourlet特征学习的优势，以确保超分辨率图像的细节重建。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1是本发明实施例提供的一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法的流程图；
图2是本发明实施例提供的一种轮廓波知识引导网络的结构示意图；
图3是本发明实施例提供的不同方法的8倍高分辨图像重建结果示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
请参见图1，图1是本发明实施例提供的一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法的流程图，如图所示，本实施例的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，包括：
步骤1：获取待重建的低分辨率图像；
步骤2：将低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像。
在本实施例中，轮廓波知识引导网络，包括依次级联的contourlet(轮廓波)滤波器模块、嵌入子网络、预测网络和超分辨重建模块。
其中，低分辨率图像输入嵌入子网络，再经过预测网络和超分辨重建模块后得到对应的超分辨率重建图像。嵌入子网络对输入的低分辨率图像进行特征提取得到特征图，预测网络对输入的特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，超分辨重建模块对轮廓波分解系数预测值进行逆变换得到超分辨率重建图像。
可选地，本实施例的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法可以应用于遥感卫星成像领域，相应地，待重建的低分辨率图像为遥感卫星图像。
进一步地，结合图2所示的轮廓波知识引导网络的结构示意图，对轮廓波知识引导网络的训练过程过程进行详细说明。
在本实施例中，轮廓波知识引导网络的训练过程包括：
步骤①：获取多个高分辨率图像组成训练集；
步骤②：构建轮廓波知识引导网络；
步骤③：将训练集中的训练样本图像输入轮廓波知识引导网络中对其进行训练，直至达到预设的截止条件，得到训练完成的轮廓波知识引导网络。
在训练过程中，contourlet滤波器模块对输入的训练样本图像进行多级分解得到不同尺度下不同方向的轮廓波分解特征图，并将低通子带的轮廓波分解特征图作为低分辨图像输入至嵌入子网络，再经过预测网络和超分辨重建模块后得到该训练样本图像对应的超分辨率重建图像；然后利用构建的损失函数通过反向传播算法对嵌入子网络、预测网络和超分辨重建模块的网络参数进行学习更新。
可选地，contourlet滤波器模块包括多级滤波器单元，滤波器单元包括尺度滤波器和方向滤波器；尺度滤波器用于对输入的图像进行分解得到对应的低通分量和高通分量，高通分量输入至当前滤波器单元的方向滤波器进行方向子带分解，低通分量输入至下一级滤波器单元的尺度滤波器进行分解。
可以根据重建倍数设置contourlet滤波器模块的参数，包括：分解级数，分解的子带个数，以及尺度滤波器和方向滤波器的类型。
在本实施例中，设置拉普拉斯塔式分解为“maxflat”，方向滤波器为“dmaxflat7”。可以根据需要进行重建的倍数(2×、4×、8×)采取不同的分解级数，一般的，重建的倍数越大，分解级数越大。
在本实施例中，contourlet滤波器模块的分解级数为3，方向滤波器为[2,2,2]，将轮廓波分解系数尺寸调整为M2，其中，/>l＝1,…,L为contourlet滤波器模块的分解级数，k＝1,…,K为contourlet滤波器模块的方向子带个数。
在本实施例中，对输入的训练样本图像，即高分辨图像进行多级分解，迭代地使用FLP(尺度滤波器)和FDFB(方向滤波器)对输入/>进行分解，得到轮廓波分解系数/>并将分解得到的低通子带的轮廓波分解特征图/>作为训练样本图像对应的低分辨图像，p为重建的倍数。以L＝3，K＝12为例，则得到高通子带分解系数和低通子带分解系数Clow，那么，轮廓波分解系数可以表示为：
可选地，嵌入子网络包括级联的多个残差块，多个残差块的通道数量依次增加，每个残差块输出的特征图的大小一致且与嵌入子网络的输入图像的大小相同。
在本实施例中，嵌入子网络可以在增加通道数量的同时保持特征图的大小。对于输入的低通子带的轮廓波分解特征图，首先进行步长为1，填充为1的3×3卷积，然后依次通过不同残差块以增强特征表示，得到的特征图X为：
其中，R的上标和下标分别为残差块数和输出通道数。
可选地，预测网络包括多个并行的预测子网络，预测子网络的个数为L+1，其中，L为contourlet滤波器模块的分解级数。每个预测子网络对输入的特征图进行通道降维和尺寸变换处理后，得到的特征映射组成轮廓波分解系数预测值，特征映射与contourlet滤波器模块的轮廓波分解系数的通道维度和大小一一对应匹配。
在本实施例中，预测网络主要对contourlet滤波器模块轮廓波分解系数进行学习，通过适当的特征学习，每个预测子网络生成与相应轮廓波分解系数的通道维度和大小相匹配的特征映射。
在本实施例中，对于输入的特征图X的特征学习主要由以下三个操作组合而成，包括：
(1)增加特征图的尺寸，其大小由尺寸因子s决定：
opincrease＝r2(b2(tc2(r1(b1(c1(X))))+X↑s))(3)；
(2)保持通道数量：
opretain＝r2(c2(r1(c1(X))))+X(4)；
(3)减少通道数量：
opreduce＝r2(b2(c2(r1(b1(c1(X))))+X))(5)；
其中，c为卷积，r为修正线性单元ReLU，b为批标准化(Batch Normalization)，tc为转置卷积(Transposed Convolution)。式中，1，2用于将一个实体或者操作与另一个实体或操作进行区分。
在本实施例中，预测子网络的具体设置如图2所示，在其他实施例中，仅需要确保每个预测子网络生成与相应轮廓波分解系数的通道维度和大小相匹配的特征映射，可通过对上述三个操作进行组合得到，具体不做限制。
在本实施例中，通过独立的预测网SNet1、SNet2、SNet3、SNet4得到学习到的轮廓波分解系数，即轮廓波分解系数预测值：
在本实施例中，在轮廓波知识引导网络的训练过程中，超分辨重建模块还用于计算contourlet滤波器模块的轮廓波分解系数对应的GGD(零均值广义高斯分布)参数向量以及预测网络得到的轮廓波分解系数预测值对应的GGD参数向量。
具体地，零均值广义高斯分布(GGD)可表示为：
其中，参数α控制GGD分布的形状，即衰减的速度，参数σ控制GGD分布的方差，β为尺度参数，Γ(·)为伽马函数，
那么，计算得到的轮廓波分解系数对应的GGD参数向量f为：
与真实轮廓波分解系数的GGD参数向量f类似地，计算得到轮廓波分解系数预测值对应的GGD参数向量/>
在本实施例中，网络的损失由四部分组成，包括：空域全局损失lglobal、频域轮廓波损失lcontourlet、细节保留损失ldetail和GGD参数的损失lggd，损失函数表示为：
L＝νlglobal+lcontourlet+μldetail+lggd (8)；
式中，ν为空域全局损失的权重、μ为细节保留损失的权重。
其中，空域全局损失为超分辨率重建图像与对应的训练样本图像的均方误差(MSE)，表示为：
式中，为超分辨率重建图像，I为训练样本图像，||·||F为范数运算。
频域轮廓波损失为预测网络得到的轮廓波分解系数预测值与contourlet滤波器模块的轮廓波分解系数的均方误差，频域轮廓波损失弥补了MSE损失中被忽略高频细节，其表示为：
式中，L为contourlet滤波器模块的分解级数，K为contourlet滤波器模块的方向子带个数，为预测网络得到的轮廓波分解系数预测值，/>为contourlet滤波器模块的轮廓波分解系数。
为了更好地保持纹理细节，细节保留损失通过使高频轮廓波系数不为零，有效地防止细节退化，其表示为：
式中，γ为第一松弛值，ε为第二松弛值；
为了进一步保持训练的稳定性，同时保证轮廓波系数的分布，提出了基于余弦相似度的GGD参数损失，其表示为：
式中，Csimilarity∈[-1,1]为余弦相似度，f为真实contourlet系数对应的GGD参数向量，为预测contourlet系数对应的GGD参数向量，n为向量f和/>的维数。
在本实施例中，通过最小化损失函数并使用随机梯度下降法(SGD)对模型进行训练，直至达到预设的训练次数，得到训练完成轮廓波知识引导网络。
本发明实施例的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，将传统的信号处理中的contourlet特征分解和深度学习框架相结合，将图像重建转化为contourlet系数和其GGD分布的学习问题，contourlet分解系数和GGD的参数均能够有效地对特征进行稀疏表示，在仅用少量系数即可捕捉图像中多尺度、多方向的边缘轮廓和方向性纹理，提高了超分辨率图像的重建性能。
其次，本发明实施例的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，通过多尺度的contourlet滤波器模块以多尺度、多方向的方式提取稀疏特征并集成到网络中，充分利用频域的contourlet特征学习的优势，以确保超分辨率图像的细节重建。另外，该轮廓波知识引导网络解决了在重建任务重卷积神经网络输出“平滑”的问题，并且在轮廓波分解系数估计过程中尽可能多地保持特征的结构信息，从而很好地捕获了图像的边缘和纹理细节，在遥感场景数据集上获得了较高的重建性能。
进一步地，通过仿真实验对本实施例的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法的效果进行说明。
设置4个遥感实验数据集，对于UC Merced数据集，随机将50％的图片作为训练集其余用于测试。AID、NWPU45和WHU-RS19数据集随机将80％的图片作为训练集其余用于测试。最终实验结果在10个随机测试结果上取平均值。
在对比算法选择上，为了尽可能的保证比较的公平性，对比算法以传统图双三次插值Bicubic、基于稀疏编码的生成网络SRCNN和FSRCNN、基于残差网络的图像重建算法VDSR、基于多层特征与上下文信息结合的CTN，以及局部全局相结合的LGCNet和DCM等方法。
其中，本发明方法和其他对比方法在遥感数据集上的×8重建结果如表1所示。
表1本发明和其他对比方法在遥感数据集上的×8重建结果
由表1可见，在8倍重建的结果下，本发明方法在UC MERCED、NWPU45和AID数据集上的两个客观指标上要优于其他对比方法。在WHU-RS19数据集上的表现稍差于DCM方法。整体而言，本发明的图像重建质量较好。这归功于轮廓波知识引导网络能够有效利用轮廓的多尺度多分辨特性，充分地提取图像中的细节特征，从而提高了模型的重建性能。
请参见图3所示的本发明实施例提供的不同方法的8倍高分辨图像重建结果示意图，其中，由上到下依次为UC MERCED、NWPU45、AID和WHU-RS19数据集上的重建结果。可以看出，Bicubic、SRCNN和FSRCNN生成的图像整体比较模糊，同时在目标边缘出现部分模糊和锯齿效应。LGCNet和VDSR的重建结果稍微好于上述三种方法，但在其边缘周围出现严重的伪影和少许瑕疵。DCM和CTN方法生成的结果相对清晰锐利，但在边缘处仍有少许瑕疵。本发明生成丰富的高频细节在视觉方面具有明显的优势，边缘更加清晰锐利，重建结果更接近真实的图像。总体而言，本发明方法在客观分析和视觉感受两方面均取得了良好的重建结果。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (9)
1.一种基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，包括：
步骤1：获取待重建的低分辨率图像；
步骤2：将所述低分辨率图像输入训练完成的轮廓波知识引导网络中，输出对应的超分辨率重建图像；
所述轮廓波知识引导网络，包括依次级联的contourlet滤波器模块、嵌入子网络、预测网络和超分辨重建模块，其中，所述低分辨率图像输入所述嵌入子网络，再经过所述预测网络和所述超分辨重建模块后得到对应的所述超分辨率重建图像；
所述嵌入子网络对输入的所述低分辨率图像进行特征提取得到特征图，所述预测网络对输入的所述特征图进行轮廓波分解系数预测，得到轮廓波分解系数预测值，所述超分辨重建模块对所述轮廓波分解系数预测值进行逆变换得到所述超分辨率重建图像。
2.根据权利要求1所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述轮廓波知识引导网络的训练过程包括：
步骤①：获取多个高分辨率图像组成训练集；
步骤②：构建轮廓波知识引导网络；
步骤③：将所述训练集中的训练样本图像输入所述轮廓波知识引导网络中对其进行训练，直至达到预设的截止条件，得到训练完成的轮廓波知识引导网络；
其中，在训练过程中，所述contourlet滤波器模块对输入的训练样本图像进行多级分解得到不同尺度下不同方向的轮廓波分解特征图，并将低通子带的轮廓波分解特征图作为低分辨图像输入至所述嵌入子网络，再经过所述预测网络和所述超分辨重建模块后得到该训练样本图像对应的超分辨率重建图像；利用构建的损失函数通过反向传播算法对所述嵌入子网络、所述预测网络和所述超分辨重建模块的网络参数进行学习更新。
3.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，
所述contourlet滤波器模块包括多级滤波器单元，所述滤波器单元包括尺度滤波器和方向滤波器；
所述尺度滤波器用于对输入的图像进行分解得到对应的低通分量和高通分量，所述高通分量输入至当前滤波器单元的方向滤波器进行方向子带分解，所述低通分量输入至下一级滤波器单元的尺度滤波器进行分解。
4.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述嵌入子网络包括级联的多个残差块，所述多个残差块的通道数量依次增加，每个残差块输出的特征图的大小一致且与所述嵌入子网络的输入图像的大小相同。
5.根据权利要求2所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述预测网络包括多个并行的预测子网络，所述预测子网络的个数为L+1，其中，L为contourlet滤波器模块的分解级数；
每个所述预测子网络对输入的特征图进行通道降维和尺寸变换处理后，得到的特征映射组成轮廓波分解系数预测值，所述特征映射与所述contourlet滤波器模块的轮廓波分解系数的通道维度和大小一一对应匹配。
6.根据权利要求5所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，在所述轮廓波知识引导网络的训练过程中，所述超分辨重建模块还用于计算所述contourlet滤波器模块的轮廓波分解系数对应的GGD参数向量以及所述预测网络得到的轮廓波分解系数预测值对应的GGD参数向量。
7.根据权利要求6所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述损失函数表示为：
L＝νlglobal+lcontourlet+μldetail+lggd；
式中，lglobal为空域全局损失、lcontourlet为频域轮廓波损失、ldetail为细节保留损失，lggd为GGD参数损失，ν为空域全局损失的权重、μ为细节保留损失的权重。
8.根据权利要求7所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述空域全局损失为超分辨率重建图像与对应的训练样本图像的均方误差，表示为：
式中，为超分辨率重建图像，I为训练样本图像，||·||F为范数运算；
所述频域轮廓波损失为所述预测网络得到的轮廓波分解系数预测值与所述contourlet滤波器模块的轮廓波分解系数的均方误差，表示为：
式中，L为contourlet滤波器模块的分解级数，K为contourlet滤波器模块的方向子带个数，为预测网络得到的轮廓波分解系数预测值，/>为contourlet滤波器模块的轮廓波分解系数。
9.根据权利要求8所述的基于轮廓波知识引导网络的多尺度图像超分辨率重建方法，其特征在于，所述细节保留损失表示为：
式中，γ为第一松弛值，ε为第二松弛值；
所述GGD参数损失表示为：
lggd＝1-Csimilarity
式中，Csimilarity∈[-1,1]为余弦相似度，f为真实contourlet系数对应的GGD参数向量，为预测contourlet系数对应的GGD参数向量，n为向量f和/>的维数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969541.4A CN116957940A (zh) | 2023-08-02 | 2023-08-02 | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969541.4A CN116957940A (zh) | 2023-08-02 | 2023-08-02 | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116957940A true CN116957940A (zh) | 2023-10-27 |
Family
ID=88454550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310969541.4A Pending CN116957940A (zh) | 2023-08-02 | 2023-08-02 | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116957940A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573841A (zh) * | 2024-01-12 | 2024-02-20 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
-
2023
- 2023-08-02 CN CN202310969541.4A patent/CN116957940A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117573841A (zh) * | 2024-01-12 | 2024-02-20 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
| CN117573841B (zh) * | 2024-01-12 | 2024-05-03 | 北京一平方科技有限公司 | 基于大语言模型的知识引导问答方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| Zhang et al. | Joint image denoising using adaptive principal component analysis and self-similarity | |
| CN109272452B (zh) | 小波域中基于集团结构子带共同学习超分辨率网络的方法 | |
| CN107341776B (zh) | 基于稀疏编码与组合映射的单帧超分辨率重建方法 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN111598778A (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| Guo et al. | Multiscale semilocal interpolation with antialiasing | |
| CN116957940A (zh) | 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法 | |
| CN114266957A (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN107133921B (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN113129237B (zh) | 基于多尺度融合编码网络的深度图像去模糊方法 | |
| CN106709873B (zh) | 一种基于三次样条插值和迭代更新的超分辨率方法 | |
| CN115937302A (zh) | 结合边缘保持的高光谱图像亚像元定位方法 | |
| CN111986114B (zh) | 一种基于自监督约束的双尺度图像盲去噪方法及系统 | |
| CN111223044B (zh) | 基于密集连接网络的全色图像与多光谱图像融合的方法 | |
| CN111932473B (zh) | 一种多分辨率稀疏编码的相位信息降噪算法及存储介质 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN114757825A (zh) | 基于特征分离的红外图像超分辨率重建方法及装置 | |
| Valli Bhasha et al. | Image super resolution model enabled by wavelet lifting with optimized deep convolutional neural network | |
| Mondal et al. | Single image super resolution using sub-band coder and adaptive filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |