CN117151983A - 一种基于小波启发和高频增强的图像全色锐化方法 - Google Patents
一种基于小波启发和高频增强的图像全色锐化方法 Download PDFInfo
- Publication number
- CN117151983A CN117151983A CN202311200961.2A CN202311200961A CN117151983A CN 117151983 A CN117151983 A CN 117151983A CN 202311200961 A CN202311200961 A CN 202311200961A CN 117151983 A CN117151983 A CN 117151983A
- Authority
- CN
- China
- Prior art keywords
- wavelet
- frequency
- full
- image
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 35
- 238000007670 refining Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 22
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 230000010365 information processing Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10041—Panchromatic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于小波启发和高频增强的图像全色锐化方法，与现有技术相比解决了融合图像易产生伪影、颜色失真、泛化性差的缺陷。本发明包括以下步骤：全色图像和多光谱图像的获取和预处理；构建全色锐化模型；全色锐化模型的训练；待处理的图像获取；图像全色锐化结果的生成。本发明提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法。
Description
技术领域
本发明涉及图像处理技术领域，具体来说是一种基于小波启发和高频增强的图像全色锐化方法。
背景技术
在当前的遥感系统中，由于卫星传感器的限制，单个传感器很难获得高分辨率的多光谱图像。因此，卫星通常携带两种传感器以分别获得全色(panchromatic，PAN)和多光谱(multispectral，MS)图像。多光谱图像包含着丰富的光谱信息，但分辨率比较低，全色图像有着精细的图像纹理信息，但却只有单个通道的光谱信息。为了获得高分辨率的多光谱图像，通常的方法是将MS图像和PAN图像进行融合，这种方法也被称为全色锐化。
由于这一方法是很多下游任务，如遥感图像分割、目标检测等任务的基础，这一方法受到了很多的关注，目前使用的方法主要可以分为两类：基于人工设计特征的传统方法和基于深度学习的方法。传统方法包含成分替换、多分辨率分析、变分优化等方法。由于人工设计的特征无法充分利用图像信息，因此目前基于深度学习的方法占据主流。但这些方法的输出也存在着伪影、颜色失真等问题，原因在于这些方法在单一尺度特征上进行融合，对于尺寸变化较大的遥感地物来说无法充分提取到特征，同时，这些方法侧重于在空间域处理信息，忽略了频率域隐含的信息。
发明内容
本发明的目的是为了解决现有技术中融合图像易产生伪影、颜色失真、泛化性差的缺陷，提供一种基于小波启发和高频增强的图像全色锐化方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于小波启发和高频增强的图像全色锐化方法，包括以下步骤：
11)全色图像和多光谱图像的获取和预处理：获取多光谱图像和相对应的全色图像，并按照设定的大小进行裁剪，形成训练集；
12)构建全色锐化模型：基于图像小波启发和高频信息增强的多域信息引导网络构建全色锐化模型；
13)全色锐化模型的训练：将训练集输入全色锐化模型进行训练；
14)待处理的图像获取：获取待处理的多光谱图像和相对应的全色图像并进行预处理；
15)图像全色锐化结果的生成：将预处理后的待处理多光谱图像和相对应的全色图像输入训练后的全色锐化模型，生成图像全色锐化结果。
所述构建全色锐化模型包括以下步骤：
21)设定全色锐化模型包含两个子网络，其为空间信息引导子网络和光谱信息处理子网络；
22)设定空间信息引导子网络，空间信息引导子网络包括卷积信息提取模块，
卷积信息提取模块使用kernel＝3的设置，对输入的原始图像进行卷积操作，提取深层特征，逐步提取全色图像特征信息，生成全色引导特征来引导光谱信息处理子网络；
23)设定光谱信息处理子网络，其包括上采样模块、小波启发融合模块、高频信息增强模块和光谱信息精炼模块，
上采样模块将多光谱图像使用双三次插值进行上采样，将输入的多光谱图像进行插值操作，将其尺寸变为与全色图像一致，并将上采样后的图像传入后续的小波启发融合模块；
在小波启发融合模块中，将全色图像和多光谱图像特征拼接后进行小波变换，生成对应的四个频率分量，将其划分为低频和高频两部分进行融合，融合后进行小波反变换，得到小波融合特征；
高频信息增强模块接收小波融合特征和全色引导特征并进行小波变换，对高频部分进行包含空间注意力的频率增强，然后经过小波反变换，得到最终的高频增强特征；
光谱信息精炼模块利用通道注意力对最终的高频增强特征和全色引导特征进行融合，得到光谱精炼特征；
24)设定小波启发融合模块，
对全色图像和多光谱图像的全局特征进行小波频域分解，对高频与低频部分进行预测与更新，利用小波反变换得到小波融合特征，具体的过程如下：
FLL,FLH,FHL,FHH＝DWT(Cat([Fpan,Fms]))
FL＝FLL
FH＝Cat([FLH,FHL,FHH])
其中，Cat为拼接操作，DWT为小波变换；Fms、Fpan分别对应着多光谱图像和全色图像的特征图，FLL、FLH、FHL、FHH是拼接特征经过DWT后得到的小波频率特征，将其进行组合后得到小波高频特征FH和小波低频特征FL；
P和U分别是预测与更新操作，均由卷积信息提取模块组成，FH 1、FL 1、FH 2、FL 2是更新与预测操作中产生的中间变量，split为拆分操作，将FH 2拆分为处理后的小波高频特征FLH 2、FHL 2、FHH 2，IDWT为小波反变换，Mi为经过小波反变换后的融合结果；
25)设定高频信息增强模块，
对输入的两种深层融合特征Fms和Fpan，分别进行小波频域分解，将得到的四种频率特征进行拼接，对高频部分进行增强FFU操作；
之后将不同频率特征分别送入特征提取单元，再利用小波反变换得到高频增强输出特征，具体的过程如下：
MLL,MLH,MHL,MHH＝DWT(Mi)
PLL,PLH,PHL,PHH＝DWT(Pi)
其中，DWT为小波变换，IDWT为小波反变换，Conv1*1和Conv3*3分别代表卷积核为1和3的卷积操作，down为stride＝2的卷积下采样操作，将特征变为原来的二分之一，FFU为高频增强处理单元，Mi为小波融合特征，经过小波分解后得到MLL,MLH,MHL,MHH这四种频率分量；
Pi为输入全色引导特征，经过小波分解后得到PLL,PLH,PHL,PHH四种频率分量，
将Mi与Pi对应分量送入1*1卷积后得到中间变量MLL 1,MLH 1,MHL 1,MHH 1；
Md是用于高频增强操作中的低频参考分量，MLL 2,MLH 2,MHL 2,MHH 2是经过高频增强处理单元与特征提取单元处理后的最终特征，将以上四种最终特征送入小波反变换后得到高频增强输出特征Mi+1；
对进行处理的FFU模块表示如下：
其中，SA表示空间注意力运算，Md和是分别是送入高频增强处理单元中的低频参考分量和待处理高频分量，W是经空间注意力运算得到的注意力权重，/>是空间注意力加权后的待处理高频分量，/>和/>相加后得到中间变量MLH 1’，MLH 1’经过3*3卷积后得到FFU单元的增强输出MLH 2；
26)设定光谱信息精炼模块，
多光谱图像特征M和全色图像特征P输入到模块中，并进行拼接。将拼接特征通过卷积层得到融合的特征图，之后使用全局平均池化和1x1卷积对通道进行压缩和扩展，推导出通道权重Wc；将权重Wc与特征映射相乘，最后通过1x1卷积进行通道变换，从而得到有效保留光谱信息的光谱精炼特征。
所述全色锐化模型的训练包括以下步骤：
31)设定建立重建损失函数如下：
建立小波损失函数如下：
设定整体损失函数:
其中，Y和G对应着网络输出和真实图像,YH和GH是对Y和G进行小波变换后得到的高频信息，λ为超参数；
32)将预处理后的多光谱图像和相对应的全色图像输入全色锐化模型；
33)基于训练数据对全色锐化模型进行迭代训练，并利用梯度下降法优化所述总损失函数L，直到达到设定的总迭代次数为止，从而得到训练后的全色锐化模型；
利用特征提取单元对输入图像进行初步特征提取，并将其送入小波启发融合模块和高频信息增强模块；
小波启发融合模块中，在小波域进行特征的预测与更新，得到小波融合特征；
高频信息增强模块接收小波启发融合模块的输出和全色引导特征，在小波域对高频部分进行包含空间注意力的频率增强，得到高频增强特征；
将高频增强特征和全色引导特征送入光谱信息精炼模块，利用通道注意力运算得到光谱精炼特征；
将光谱精炼特征与输入的多光谱图像相加，就能得到全色锐化模型的输出图像。
有益效果
本发明的一种基于小波启发和高频增强的图像全色锐化方法，与现有技术相比提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法。
本发明针对超分辨率任务中，使用频域信息能够提高模型表现的特点，将小波频域信息引入全色锐化方法中，通过小波变换和CNN网络，提高了模型的表现。本发明产生的图像质量更高、测试指标表现更好。
附图说明
图1为本发明的方法顺序图；
图2为本发明实施例提供的小波信息融合引导网络的网络结构示意图；
图3为本发明实施例提供的小波信息融合引导网络中小波启发融合模块、光谱信息精炼模块、高频信息增强模块的结构示意图；
图4为本发明实施例提供的不同方法下的图像融合可视化结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于小波启发和高频增强的图像全色锐化方法，包括以下步骤：
第一步，全色图像和多光谱图像的获取和预处理：获取多光谱图像和相对应的全色图像，并按照设定的大小进行裁剪，形成训练集。获取对应的全色图像和多光谱图像，进行对应区域裁剪。在实验室环节，裁剪后图像为PAN、HRMS，将HRMS下采样4倍，作为LRMS，将LRMS、PAN作为模型输入，HRMS作为真实值；选取其中80％的图像作为训练，其中图像作为模拟测试图片进行测试。此外，额外选择一部分裁剪后的图像，不对其进行降采样，作为真实测试图片。
第二步，构建全色锐化模型：基于图像小波启发和高频信息增强的多域信息引导网络构建全色锐化模型。
在此，引入频域信息可以更好的让模型学习到高频特征、拥有长程建模的能力。针对小波频域分解设计网络可以更加专注于图像高频信息的学习，弥补了卷积神经网络易受低频冗余信息影响的缺点。利用频域分解构造小波信息融合引导网络，可以产生质量更高的全色锐化结果。
如图2和图3所示，构建全色锐化模型包括以下步骤：
(1)设定全色锐化模型包含两个子网络，其为空间信息引导子网络和光谱信息处理子网络。
(2)设定空间信息引导子网络，空间信息引导子网络包括卷积信息提取模块，
卷积信息提取模块使用kernel＝3的设置，对输入的原始图像进行卷积操作，提取深层特征，逐步提取全色图像特征信息，生成全色引导特征来引导光谱信息处理子网络。
(3)设定光谱信息处理子网络，其包括上采样模块、小波启发融合模块、高频信息增强模块和光谱信息精炼模块，
上采样模块将多光谱图像使用双三次插值进行上采样，将输入的多光谱图像进行插值操作，将其尺寸变为与全色图像一致，并将上采样后的图像传入后续的小波启发融合模块；
在小波启发融合模块中，将全色图像和多光谱图像特征拼接后进行小波变换，生成对应的四个频率分量，将其划分为低频和高频两部分进行融合，融合后进行小波反变换，得到小波融合特征；
高频信息增强模块接收小波融合特征和全色引导特征并进行小波变换，对高频部分进行包含空间注意力的频率增强，然后经过小波反变换，得到最终的高频增强融合特征；
光谱信息精炼模块利用通道注意力对最终的高频增强融合特征和全色引导特征进行融合，得到光谱精炼特征。
(4)设定小波启发融合模块，在此设计了以特征提取单元为基础的针对小波域分量的预测与更新操作，有效保存了图像中的高频信息。
对全色图像和多光谱图像的全局特征进行小波频域分解，对高频与低频部分进行预测与更新，利用小波反变换得到小波融合特征，具体的过程如下：
FLL,FLH,FHL,FHH＝DWT(Cat([Fpan,Fms]))
FL＝FLL
FH＝Cat([FLH,FHL,FHH])
其中，Cat为拼接操作，DWT为小波变换；Fms、Fpan分别对应着多光谱图像和全色图像的特征图，FLL、FLH、FHL、FHH是拼接特征经过DWT后得到的小波频率特征，将其进行组合后得到小波高频特征FH和小波低频特征FL；
P和U分别是预测与更新操作，均由卷积信息提取模块组成，FH 1、FL 1、FH 2、FL 2是更新与预测操作中产生的中间变量，split为拆分操作，将FH 2拆分为处理后的小波高频特征FLH 2、FHL 2、FHH 2，IDWT为小波反变换，Mi为经过小波反变换后的融合结果。
(5)设定高频信息增强模块，通过小波变换和模块结构设计有效的区分了图像信息的高频与低频分量，同时利用新的频率融合单元对高频部分进行增强，保证了输出图像的细节纹理特征。
对输入的两种深层融合特征Fms和Fpan，分别进行小波频域分解，将得到的四种频率特征进行拼接，对高频部分进行增强FFU操作；
之后将不同频率特征分别送入特征提取单元，再利用小波反变换得到高频增强输出特征，具体的过程如下：
MLL,MLH,MHL,MHH＝DWT(Mi)
PLL,PLH,PHL,PHH＝DWT(Pi)
其中，DWT为小波变换，IDWT为小波反变换，Conv1*1和Conv3*3分别代表卷积核为1和3的卷积操作，down为stride＝2的卷积下采样操作，将特征变为原来的二分之一，FFU为高频增强处理单元，Mi为小波融合特征，经过小波分解后得到MLL,MLH,MHL,MHH这四种频率分量；
Pi为输入全色引导特征，经过小波分解后得到PLL,PLH,PHL,PHH四种频率分量，
将Mi与Pi对应分量送入1*1卷积后得到中间变量MLL 1,MLH 1,MHL 1,MHH 1；
Md是用于高频增强操作中的低频参考分量，MLL 2,MLH 2,MHL 2,MHH 2是经过高频增强处理单元与特征提取单元处理后的最终特征，将以上四种最终特征送入小波反变换后得到高频增强输出特征Mi+1；
对进行处理的FFU模块表示如下：
其中，SA表示空间注意力运算，Md和是分别是送入高频增强处理单元中的低频参考分量和待处理高频分量，W是经空间注意力运算得到的注意力权重，/>是空间注意力加权后的待处理高频分量，/>和/>相加后得到中间变量MLH 1’，MLH 1’经过3*3卷积后得到FFU单元的增强输出MLH 2。
(6)设定高频信息增强模块，
多光谱图像特征M和全色图像特征P输入到模块中，并进行拼接。将拼接特征通过卷积层得到融合的特征图，之后使用全局平均池化和1x1卷积对通道进行压缩和扩展，推导出通道权重Wc；将权重Wc与特征映射相乘，最后通过1x1卷积进行通道变换，从而得保留了光谱信息的光谱精炼特征。
第三步，全色锐化模型的训练：将训练集输入全色锐化模型进行训练。
(1)设定建立重建损失函数如下：
建立小波损失函数如下：
设定整体损失函数:
其中，Y和G对应着网络输出和真实图像,YH和GH是对Y和G进行小波变换后得到的高频信息，λ为超参数。
(2)将预处理后的多光谱图像和相对应的全色图像输入全色锐化模型。
(3)基于训练数据对全色锐化模型进行迭代训练，并利用梯度下降法优化所述总损失函数L，直到达到设定的总迭代次数为止，从而得到训练后的全色锐化模型；
利用特征提取单元对输入图像进行初步特征提取，并将其送入小波启发融合模块和高频信息增强模块；
小波启发融合模块中，在小波域进行特征的预测与更新，得到小波融合特征；
高频信息增强模块接收小波启发融合模块的输出和全色引导特征，在小波域对高频部分进行包含空间注意力的频率增强，得到高频增强融合特征；
将高频增强融合特征和全色引导特征送入光谱信息精炼模块，利用通道注意力运算得到光谱精炼特征；
将光谱精炼特征与输入的多光谱图像相加，就能得到全色锐化模型的输出图像。
第四步，待处理的图像获取：获取待处理的多光谱图像和相对应的全色图像并进行预处理。
第五步，图像全色锐化结果的生成：将预处理后的待处理多光谱图像和相对应的全色图像输入训练后的全色锐化模型，生成图像全色锐化结果。
在实际应用中，以原始多光谱MS图像为参照，通过评价指标评估所述第四步得到的融合图像的质量；对于真实融合图像，将融合图像与原始MS或全色PAN图像进行对照，计算相应的评价指标，评估融合图像质量。在仿真实验中，我们使用World-ViewⅡ，World-ViewⅢ，Gaofen-2数据集对模型进行评估。表1表现了该模型的评估指标。使用的评估指标介绍如下:
峰值信噪比PSNR(Peak signal-to-noise ratio):是测量融合图像和参考图像均方误差的对数值，其值＞0，越高说明融合图像与参考图像越接近。
结构相似性SSIM(Structural Similarity)：能够全局地从亮度(luminance)、对比度(contrast)和结构(structure)三个方向评估两幅图像间的相似度，其值位于0～1之间，值越接近1，两幅图像的相似度越高。
光谱角映射SAM(Spectral Angle Mapper)：测量融合图像与相应参考图像间的光谱相似性，其值为大于等于0的正数，值越小表明两幅图像间的光谱相似度越高。
相对全局综合误差ERGAS(Erreur Relative Globale Adimensionnellede Synthèse)：测定融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明两幅图像间的光谱差异越小。
采用上述四个指标对网络获得的融合结果的质量进行评价，并于现有的多种先进的全色锐化算法进行比较，表1展现了在World-ViewⅡ，World-ViewⅢ，Gaofen-2的比较结果，其中最优的结果以黑体加粗标出。
表1：基于WorldView-Ⅱ、Gaofen-Ⅱ和WorldView-Ⅲ数据集的定量结果
如图4所示，其为Gaofen-2卫星图像融合可视化结果图，最后一行的图像显示了全色结果和真值图像之间的均方误差残差。从图4中可以看出，本发明产生的结果在保留精细纹理细节的同时呈现了最准确的光谱表示。在残差图中，本发明产生的结果显示出最低亮度，表明其与真值图像更为接近，验证了本发明的有效性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种基于小波启发和高频增强的图像全色锐化方法，其特征在于，包括以下步骤：
11)全色图像和多光谱图像的获取和预处理：获取多光谱图像和相对应的全色图像，并按照设定的大小进行裁剪，形成训练集；
12)构建全色锐化模型：基于图像小波启发和高频信息增强的多域信息引导网络构建全色锐化模型；
13)全色锐化模型的训练：将训练集输入全色锐化模型进行训练；
14)待处理的图像获取：获取待处理的多光谱图像和相对应的全色图像并进行预处理；
15)图像全色锐化结果的生成：将预处理后的待处理多光谱图像和相对应的全色图像输入训练后的全色锐化模型，生成图像全色锐化结果。
2.根据权利要求1所述的一种基于小波启发和高频增强的图像全色锐化方法，其特征在于，所述构建全色锐化模型包括以下步骤：
21)设定全色锐化模型包含两个子网络，其为空间信息引导子网络和光谱信息处理子网络；
22)设定空间信息引导子网络，空间信息引导子网络包括卷积信息提取模块，
卷积信息提取模块使用kernel＝3的设置，对输入的原始图像进行卷积操作，提取深层特征，逐步提取全色图像特征信息，生成全色引导特征来引导光谱信息处理子网络；
23)设定光谱信息处理子网络，其包括上采样模块、小波启发融合模块、高频信息增强模块和光谱信息精炼模块，
上采样模块将多光谱图像使用双三次插值进行上采样，将输入的多光谱图像进行插值操作，将其尺寸变为与全色图像一致，并将上采样后的图像传入后续的小波启发融合模块；
在小波启发融合模块中，将全色图像和多光谱图像特征拼接后进行小波变换，生成对应的四个频率分量，将其划分为低频和高频两部分进行融合，融合后进行小波反变换，得到小波融合特征；
高频信息增强模块接收小波融合特征和全色引导特征并进行小波变换，对高频部分进行包含空间注意力的频率增强，然后经过小波反变换，得到最终的高频增强特征；
光谱信息精炼模块利用通道注意力对最终的高频增强特征和全色引导特征进行融合，得到光谱精炼特征；
24)设定小波启发融合模块，
对全色图像和多光谱图像的全局特征进行小波频域分解，对高频与低频部分进行预测与更新，利用小波反变换得到小波融合特征，具体的过程如下：
FLL,FLH,FHL,FHH＝DWT(Cat([Fpan,Fms]))
FL＝FLL
FH＝Cat([FLH,FHL,FHH])
其中，Cat为拼接操作，DWT为小波变换；Fms、Fpan分别对应着多光谱图像和全色图像的特征图，FLL、FLH、FHL、FHH是拼接特征经过DWT后得到的小波频率特征，将其进行组合后得到小波高频特征FH和小波低频特征FL；
P和U分别是预测与更新操作，均由卷积信息提取模块组成，FH 1、FL 1、FH 2、FL 2是更新与预测操作中产生的中间变量，split为拆分操作，将FH 2拆分为处理后的小波高频特征FLH 2、FHL 2、FHH 2，IDWT为小波反变换，Mi为经过小波反变换后的融合结果；
25)设定高频信息增强模块，
对输入的两种深层融合特征Fms和Fpan，分别进行小波频域分解，将得到的四种频率特征进行拼接，对高频部分进行增强FFU操作；
之后将不同频率特征分别送入特征提取单元，再利用小波反变换得到高频增强输出特征，具体的过程如下：
MLL,MLH,MHL,MHH＝DWT(Mi)
PLL,PLH,PHL,PHH＝DWT(Pi)
其中，DWT为小波变换，IDWT为小波反变换，Conv1*1和Conv3*3分别代表卷积核为1和3的卷积操作，down为stride＝2的卷积下采样操作，将特征变为原来的二分之一，FFU为高频增强处理单元，Mi为小波融合特征，经过小波分解后得到MLL,MLH,MHL,MHH这四种频率分量；
Pi为输入全色引导特征，经过小波分解后得到PLL,PLH,PHL,PHH四种频率分量，
将Mi与Pi对应分量送入1*1卷积后得到中间变量MLL 1,MLH 1,MHL 1,MHH 1；
Md是用于高频增强操作中的低频参考分量，MLL 2,MLH 2,MHL 2,MHH 2是经过高频增强处理单元与特征提取单元处理后的最终特征，将以上四种最终特征送入小波反变换后得到高频增强输出特征Mi+1；
对进行处理的FFU模块表示如下：
其中，SA表示空间注意力运算，Md和是分别是送入高频增强处理单元中的低频参考分量和待处理高频分量，W是经空间注意力运算得到的注意力权重，/>是空间注意力加权后的待处理高频分量，/>和/>相加后得到中间变量MLH 1’，MLH 1’经过3*3卷积后得到FFU单元的增强输出MLH 2；
26)设定光谱信息精炼模块，
多光谱图像特征M和全色图像特征P输入到模块中，并进行拼接。将拼接特征通过卷积层得到融合的特征图，之后使用全局平均池化和1x1卷积对通道进行压缩和扩展，推导出通道权重Wc；将权重Wc与特征映射相乘，最后通过1x1卷积进行通道变换，从而得到有效保留光谱信息的光谱精炼特征。
3.根据权利要求1所述的一种基于小波启发和高频增强的图像全色锐化方法，其特征在于，所述全色锐化模型的训练包括以下步骤：
31)设定建立重建损失函数如下：
建立小波损失函数如下：
设定整体损失函数：
其中，Y和G对应着网络输出和真实图像,YH和GH是对Y和G进行小波变换后得到的高频信息，λ为超参数；
32)将预处理后的多光谱图像和相对应的全色图像输入全色锐化模型；
33)基于训练数据对全色锐化模型进行迭代训练，并利用梯度下降法优化所述总损失函数L，直到达到设定的总迭代次数为止，从而得到训练后的全色锐化模型；
利用特征提取单元对输入图像进行初步特征提取，并将其送入小波启发融合模块和高频信息增强模块；
小波启发融合模块中，在小波域进行特征的预测与更新，得到小波融合特征；
高频信息增强模块接收小波启发融合模块的输出和全色引导特征，在小波域对高频部分进行包含空间注意力的频率增强，得到高频增强特征；
将高频增强特征和全色引导特征送入光谱信息精炼模块，利用通道注意力运算得到光谱精炼特征；
将光谱精炼特征与输入的多光谱图像相加，就能得到全色锐化模型的输出图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311200961.2A CN117151983A (zh) | 2023-09-18 | 2023-09-18 | 一种基于小波启发和高频增强的图像全色锐化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311200961.2A CN117151983A (zh) | 2023-09-18 | 2023-09-18 | 一种基于小波启发和高频增强的图像全色锐化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117151983A true CN117151983A (zh) | 2023-12-01 |
Family
ID=88898792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311200961.2A Pending CN117151983A (zh) | 2023-09-18 | 2023-09-18 | 一种基于小波启发和高频增强的图像全色锐化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117151983A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876943A (zh) * | 2024-03-12 | 2024-04-12 | 荣耀终端有限公司 | 一种图像处理方法、图像增强模型的训练方法及电子设备 |
-
2023
- 2023-09-18 CN CN202311200961.2A patent/CN117151983A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876943A (zh) * | 2024-03-12 | 2024-04-12 | 荣耀终端有限公司 | 一种图像处理方法、图像增强模型的训练方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| CN110363215B (zh) | 基于生成式对抗网络的sar图像转化为光学图像的方法 | |
| CN110111345B (zh) | 一种基于注意力网络的3d点云分割方法 | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
| CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
| CN112001960A (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN113312993B (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN113256772B (zh) | 一种基于视角转换的双角度光场高分辨重构系统及方法 | |
| CN116612472B (zh) | 基于图像的单分子免疫阵列分析仪及其方法 | |
| Al-Wassai et al. | Multisensor images fusion based on feature-level | |
| CN112288788A (zh) | 单目图像深度估计方法 | |
| CN113610905A (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
| CN110793529A (zh) | 一种快速匹配星图识别方法 | |
| CN113781311A (zh) | 一种基于生成对抗网络的图像超分辨率重建方法 | |
| Nouduri et al. | Deep realistic novel view generation for city-scale aerial images | |
| CN115327544B (zh) | 基于自监督学习的少样本空间目标isar散焦补偿方法 | |
| CN112184552A (zh) | 一种基于高频特征学习的子像素卷积图像超分辨方法 | |
| CN116402700A (zh) | 基于多尺度双域信息融合技术的遥感图像全色锐化方法 | |
| CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |