CN114972128A - 光学遥感图像全色锐化方法、装置、电子设备及存储介质 - Google Patents

光学遥感图像全色锐化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114972128A
CN114972128A CN202210913098.4A CN202210913098A CN114972128A CN 114972128 A CN114972128 A CN 114972128A CN 202210913098 A CN202210913098 A CN 202210913098A CN 114972128 A CN114972128 A CN 114972128A
Authority
CN
China
Prior art keywords
image
resolution
panchromatic
sharpening
fusion result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210913098.4A
Other languages
English (en)
Other versions
CN114972128B (zh
Inventor
张凯
胡玉新
林智莘
王振舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210913098.4A priority Critical patent/CN114972128B/zh
Publication of CN114972128A publication Critical patent/CN114972128A/zh
Application granted granted Critical
Publication of CN114972128B publication Critical patent/CN114972128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种光学遥感图像全色锐化方法、装置、电子设备及存储介质，应用于光学遥感图像处理技术领域，该方法包括：利用预设的第一分辨率联合字典，基于第三分辨率多光谱图像和全色图像进行全色锐化，依次得到各个波段的融合结果图像利用预设的第二分辨率联合字典，基于各个波段的所述融合结果图像和所述全色图像进行全色锐化，依次得到各个波段的最终融合结果图像。

Description

光学遥感图像全色锐化方法、装置、电子设备及存储介质
技术领域
本发明涉及光学遥感图像处理技术领域，尤其涉及一种光学遥感图像全色锐化方法、装置、电子设备及存储介质。
背景技术
在遥感领域中，不同类型的成像传感器可获取反映地物不同特征属性的图像。当前绝大多数的光学遥感卫星能够同时获取全色图像和多个波段的多光谱图像。全色波段具有较大的光谱响应范围，光谱分辨率低，空间分辨率高；而各多光谱波段的光谱响应范围较窄，光谱分辨率较高，空间分辨率低。全色锐化是指提高多光谱图像的分辨率使其具有和全色图像相同的空间分辨率，同时要保持自身原有的光谱特性不失真。经过全色锐化处理的图像兼具高空间分辨率和光谱分辨率，有利于实现目标的检测、识别和分类等处理。
在全色锐化算法中，需要将高空间分辨率的全色图像（PAN）与低空间分辨率的多 光谱图像（
Figure 843228DEST_PATH_IMAGE001
，k=1，2，……，N，N表示多光谱波段数）进行融合。通常来说，PAN与
Figure 120887DEST_PATH_IMAGE001
的 空间分辨率之比为1:4。IHS、PCA等算法中通常直接对
Figure 900625DEST_PATH_IMAGE001
进行4倍的上采样，得到与全色 图像具有相同分辨率的多光谱图像后再进行全色锐化。即便利用立方卷积插值方法，经过4 倍上采样后得到的图像的边缘是非常模糊的，对于全色锐化得到的结果图像会产生一定的 影响。
发明内容
本发明的主要目的在于提供一种光学遥感图像全色锐化方法、装置、电子设备及存储介质。
为实现上述目的，本发明实施例第一方面提供一种光学遥感图像全色锐化方法，包括：
利用预设的第一分辨率联合字典DLh,DLl，基于第三分辨率多光谱图像
Figure 295834DEST_PATH_IMAGE001
和全 色图像PAN进行全色锐化，依次得到各个波段的融合结果图像MSFL；
利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的所述融合结果图像MSFL和所述全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH，所述第一分辨率低于s所述第二分辨率，所述第三分辨率高于所述第一分辨率且低于所述第二分辨率；
其中，k=1，2，……，N，N表示多光谱波段数。
可选的，所述利用预设的第一分辨率联合字典DLh,DLl，基于第三分辨率多光谱图 像
Figure 500419DEST_PATH_IMAGE001
和全色图像PAN进行全色锐化，依次得到各个波段的融合结果图像MSFL包括：
对第三分辨率多光谱图像
Figure 322882DEST_PATH_IMAGE001
进行2倍立方卷积插值放大，得到第一图像
Figure 589915DEST_PATH_IMAGE002
；
将全色图像PAN进行2倍模糊下采样缩小，得到第二图像PANL1；
将所述第一图像
Figure 149334DEST_PATH_IMAGE002
和所述第二图像PANL1作为自适应全色锐化模型的输入，利 用预设的第一分辨率联合字典DLh,DLl依次得到各个波段的融合结果图像MSFL。
可选的，所述利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的所述融合结果图像MSFL和所述全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH包括：
将各个波段的所述融合结果图像MSFL均进行2倍立方卷积插值放大得到第三图像MSFLH；
将所述第三图像MSFLH和所述全色图像PAN作为所述自适应全色锐化模型的输入，利用预设的第二分辨率联合字典DHh,DHl依次得到各个波段的最终融合结果图像MSFH。
可选的，还包括：
将所述第二图像PANL1进行立方卷积插值，得到第四图像PANL1H；
利用所述全色图像PAN和所述第四图像PANL1H进行训练，得到所述第二分辨率联合字典DHh,DHl。
可选的，还包括：
将所述第二图像PANL1进行模糊下采样，得到第五图像PANL2；
将所述第五图像PANL2进行立方卷积插值，得到第六图像PANL2H；
利用所述第二图像PANL1和所述第六图像PANL2H进行训练，得到所述第一分辨率联合字典DLh,DLl。
本发明实施例第二方面提供一种光学遥感图像全色锐化装置，包括：
第一锐化模块，用于利用预设的第一分辨率联合字典DLh,DLl，基于第三分辨率多 光谱图像
Figure 818213DEST_PATH_IMAGE001
和全色图像PAN进行全色锐化，依次得到各个波段的融合结果图像MSFL；
第二锐化模块，用于利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的所述融合结果图像MSFL和所述全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH，所述第一分辨率低于第二分辨率，所述第三分辨率高于所述第一分辨率且低于所述第二分辨率；
其中，k=1，2，……，N，N表示多光谱波段数。
可选的，所述第一锐化模块具体用于：
对第三分辨率多光谱图像
Figure 936211DEST_PATH_IMAGE001
进行2倍立方卷积插值放大，得到第一图像
Figure 690540DEST_PATH_IMAGE002
；
将全色图像PAN进行2倍模糊下采样缩小，得到第二图像PANL1；
将所述第一图像
Figure 427552DEST_PATH_IMAGE002
和所述第二图像PANL1作为自适应全色锐化模型的输入，利 用预设的第一分辨率联合字典DLh,DLl依次得到各个波段的融合结果图像MSFL。
可选的，所述第二锐化模块具体用于：
将各个波段的所述融合结果图像MSFL均进行2倍立方卷积插值放大得到第三图像MSFLH；
将所述第三图像MSFLH和所述全色图像PAN作为所述自适应全色锐化模型的输入，利用预设的第二分辨率联合字典DHh,DHl依次得到各个波段的最终融合结果图像MSFH。
本发明实施例第三方面提供了一种电子设备，包括：
存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例第一方面提供的光学遥感图像全色锐化方法。
本发明实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的光学遥感图像全色锐化方法。
从上述本发明实施例可知，本发明提供的光学遥感图像全色锐化方法、装置、电子设备及存储介质，结合全色图像和第三分辨率多光谱图像的全色锐化模型。在该模型中，可利用权重因子来平衡融合图像的空间分辨率和光谱特性。联合字典的训练方法，可使得字典的表示精度更高。利用全色图像进行高、低分辨率联合字典的训练，不需要其它分辨率高于第一分辨率的高分辨率的多光谱图像用于字典训练，使得更加实用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的光学遥感图像全色锐化方法的流程示意图；
图2为本发明一实施例提供的自适应全色锐化模型的工作流程示意图；
图3为本发明一实施例提供的联合字典的训练流程示意图；
图4为本发明一实施例提供的第二分辨率联合字典和第一分辨率联合字典的训练示意图；
图5为本发明一实施例提供的光学遥感图像全色锐化装置的结构示意图；
图6示出了一种电子设备的硬件结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于稀疏编码方法的遥感图像自适应全色锐化方法、装置、电 子设备及存储介质，将整个全色锐化过程分为两个阶段，在每一个阶段中经全色锐化模型 得到放大2倍的多光谱图像，第一、第二分辨率的联合字典DLh,DLl和DHh,DHl均利用全色图像 PAN训练得到，字典均为2维矩阵，行数由进行训练的图像块大小确定，列数为超参数，通常 远大于行数。在之前基于稀疏编码的全色锐化方法中，普遍利用图像超分辨率的方法来实 现全色锐化，并未充分的结合全色锐化问题的特点。在本方法中，通过结合全色图像PAN和 第三分辨率多光谱图像
Figure 45877DEST_PATH_IMAGE001
的稀疏编码全色锐化方法，利用权重因子来平衡融合图像的 空间分辨率和光谱特性。通过联合字典的训练方法，可使得字典的表示精度更高。利用全色 图像进行第一、第二分辨率联合字典的训练，不需要其它分辨率高于第一分辨率的高分辨 率的多光谱图像用于字典训练，使得本发明更加实用。
请参阅图1，图1为本发明一实施例提供的光学遥感图像全色锐化方法的流程示意图，该方法可应用于电子设备中，电子设备包括：手机、平板电脑、手提电脑、智能手表、智能眼镜等可在移动中进行数据处理的电子设备以及台式计算机、一体机、智能电视机等非可在移动中进行数据处理的电子设备，该方法主要包括以下步骤：
S101、利用预设的第一分辨率联合字典DLh,DLl，基于第三分辨率多光谱图像
Figure 475722DEST_PATH_IMAGE001
和全色图像PAN进行全色锐化，依次得到各个波段的融合结果图像MSFL。
S102、利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的该融合结果图像MSFL和该全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH。
其中，第一分辨率低于第二分辨率，第三分辨率高于第一分辨率且低于第二分辨率，k=1，2，……，N，N表示多光谱波段数。
在本发明一实施例中，S101、利用预设的第一分辨率联合字典DLh,DLl，基于第三分 辨率多光谱图像
Figure 717347DEST_PATH_IMAGE001
和全色图像PAN进行全色锐化，依次得到各个波段的融合结果图像 MSFL包括：
对第三分辨率多光谱图像
Figure 117105DEST_PATH_IMAGE001
进行2倍立方卷积插值放大，得到第一图像
Figure 760575DEST_PATH_IMAGE002
；
将全色图像PAN进行2倍模糊下采样缩小，得到第二图像PANL1；
将该第一图像
Figure 95742DEST_PATH_IMAGE002
和该第二图像PANL1作为自适应全色锐化模型的输入，利用预 设的第一分辨率联合字典DLh,DLl依次得到各个波段的融合结果图像MSFL。
在本发明一实施例中，S102、该利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的该融合结果图像MSFL和该全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH包括：将各个波段的该融合结果图像MSFL均进行2倍立方卷积插值放大得到第三图像MSFLH；将该第三图像MSFLH和该全色图像PAN作为该自适应全色锐化模型的输入，利用预设的第二分辨率联合字典DHh,DHl依次得到各个波段的最终融合结果图像MSFH。
在本发明一实施例中，图1所示方法还包括：将该第二图像PANL1进行立方卷积插值，得到第四图像PANL1H；利用该全色图像PAN和该第四图像PANL1H进行训练，得到该第二分辨率联合字典DHh,DHl。
在本发明一实施例中，图1所示方法还包括：将该第二图像PANL1进行模糊下采样，得到第五图像PANL2；将该第五图像PANL2进行立方卷积插值，得到第六图像PANL2H；利用该第二图像PANL1和该第六图像PANL2H进行训练，得到该第一分辨率联合字典DLh,DLl。
请参阅图2，图2为本发明一实施例提供的自适应全色锐化模型的工作流程示意图。上述两个步骤S101和S102中用到的全色锐化方法是相同，为了方便描述，这里用MSk和PAN来表示自适应全色锐化模型的输入，Dh和Dl表示联合字典。
多光谱图像经插值放大后，图像会变模糊，为了更精确的表示图像的特征信息，利用特征提取符f来提取MSk的特征，将PAN图像和提取得到的特征作为全色锐化算法的输入。f表示一个线性的特征提取符，通过提取更多的特征来使得稀疏系数能更精确的表示第一分辨率的图像块。如式(1)所示。
Figure 716341DEST_PATH_IMAGE003
式(1)
根据MSk和PAN计算得到图像块矩阵Yh和Yl。然后利用OMP算法求得稀疏系数Ω，目标函数为：
Figure 795156DEST_PATH_IMAGE004
式(2)
其中，
Figure 293133DEST_PATH_IMAGE005
，
Figure 923835DEST_PATH_IMAGE006
。式中 δcorr用于平衡全色图像和多光谱图像在重建图像过程中所占的比重，使得重建得到的第二 分辨率图像既能保持全色图像的空间分辨率，又能保持多光谱图像的光谱特性。δcorr表示 MSk和PAN间相对应的图像块间的相关性，在本发明中采用四阶矩来计算图像块间的相似 性，如式(3)所示。图像块间的相似性越强，则全色锐化的结果中应包含更多的空间信息；若 相似性较弱，则全色锐化的结果图像中应注重光谱信息的保持。基于这一原则，确定第一、 第二分辨率图像块相应的权重。
Figure 874473DEST_PATH_IMAGE007
式(3)
通过求解式(2)得到稀疏系数
Figure 383077DEST_PATH_IMAGE008
后，第二分辨率多光谱图像块的重建按下式（4）：
Figure 735561DEST_PATH_IMAGE009
式(4)
经过上述过程，可依次得到重建后各个波段的第二分辨率多光谱图像。
本发明中，采用全色图像来进行字典训练。在遥感图像的全色锐化问题中，只有高分辨率的全色图像和第一分辨率的多光谱图像，并不容易获取用于训练字典的高于第一分辨率的高分辨率多光谱图像。为使本发明提出的全色锐化模型更加实用，将采用全色图像来进行字典训练。
Figure 678109DEST_PATH_IMAGE010
式（5）
为了使得训练得到的联合字典能更加精确的表示不同分辨率的图像，本文中设计了如下算法：
1)利用在线学习算法(on line learning)求解式(5)得到初始联合字典Dh、Dl，利用OMP算法求得稀疏系数Ω。
2)固定Dh和Ω，利用字典更新算法更新Dl，目标函数为：
Figure 240678DEST_PATH_IMAGE011
。
3)固定Dl和Ω，利用字典更新算法更新Dh，目标函数为：
Figure 661295DEST_PATH_IMAGE012
。
4)判断是否满足收敛条件，当连续两次迭代计算得到的残差
Figure 133864DEST_PATH_IMAGE013
时，满足收敛条件。若满足，则结束迭代，输出联合字典Dh、Dl；若不满足，则转5)。
Figure 873412DEST_PATH_IMAGE014
。
5)固定Dh和Dl，根据OMP算法求解稀疏系数Ω，目标函数为：
Figure 798643DEST_PATH_IMAGE015
。转2)。
算法流程如图3所示，训练得到的联合字典能更加精确的表示不同分辨率的图像。按照图3所示方法依次训练联合字典，字典训练仅需要全色图像，不需要其它分辨率高于第一分辨率的高分辨率的多光谱图像。对全色图像PAN进行处理，如图4所示。利用PAN和PANL1H训练得到DHh,DHl，利用PANL1和PANL2H训练得到DLh,DLl。
本发明中，在联合字典的训练中，判断字典训练是否收敛时，需要设置参数ε，根据 经验值，将ε可以设置为0.5%。字典Dl采用提取特征的方法，字典Dh直接由第三分辨率图像训 练。提取图像中的图像块后，首先转为1维向量，按式(6)进行标准化。其中
Figure 22951DEST_PATH_IMAGE016
表示均值，
Figure 209082DEST_PATH_IMAGE017
表示方差。进行字典训练时，剔除方差较小的向量。根据经验值，设定为10，即选择
Figure 493433DEST_PATH_IMAGE018
大于 10的向量用于字典训练。
Figure 532058DEST_PATH_IMAGE019
式(6)
基于稀疏编码的图像融合方法会受到图像块选取大小和重叠区域大小的影响。在联合字典的训练中，图像块的划分大小一般为3*3到10*10。若图像块太小，则会导致字典中的元素间相关性太强；若图像块太大，则需要更多的字典元素来实现对整个图像的表示。联合字典利用全色图像及经模糊处理过的第一分辨率全色图像训练得到，字典大小为1024。表1所示为不同图像块大小及不同重叠区域大小的融合实验对比，采用的融合评价指标为QNR。从中可看出，图像块大小为7*7，重叠列为5和图像块大小为9*9重叠列为5的两组融合实验效果较好。可见，在固定了字典元素数目的条件下，并非图像块划分越小越好或重叠列越多越好。表1示出了不同图像块大小的融合效果对比。
表1
图像块大小 5x5 7x7 7x7 9x9 9x9
重叠部分 3 3 5 5 7
R波段Q<sub>λ</sub> 0.9667 0.9642 0.9740 0.9664 0.9725
G波段Q<sub>λ</sub> 0.9685 0.9671 0.9777 0.9749 0.9765
B波段Q<sub>λ</sub> 0.9793 0.977 0.9847 0.9816 0.9836
D<sub>λ</sub> 0.01 0.0137 0.0154 0.0138 0.0176
D<sub>s</sub> 0.0609 0.0534 0.0431 0.0383 0.0416
QNR 0.9297 0.9336 0.9421 0.9484 0.9415
各指标计算过程如下：
为了更直接的评价融合图像的颜色失真度，将融合图像
Figure 560057DEST_PATH_IMAGE020
降采样到与
Figure 741640DEST_PATH_IMAGE001
具有相同的分辨率得到
Figure 55946DEST_PATH_IMAGE021
，利用UIQI指数对各波段融合图像的光谱特性进行评价：
Figure 955769DEST_PATH_IMAGE022
式(7)
设定a=1，b=1, p=2,q=2。Dλ，Ds和QNR的取值范围为[0,1]，Dλ值越接近0，表示光谱扭曲越小。Ds值越接近0，表示两幅图像间的空间差异越小。QNR用来量化评价各个融合算法，其值越接近1，融合图像的效果越好。
请参阅图5，图5是本发明又一实施例提供的光学遥感图像全色锐化装置的结构示意图，该装置可内置于电子设备中，该装置主要包括：
第一锐化模块510，用于利用预设的第一分辨率联合字典DLh,DLl，基于第三分辨率 多光谱图像
Figure 521880DEST_PATH_IMAGE001
和全色图像PAN进行全色锐化，依次得到各个波段的融合结果图像MSFL。
第二锐化模块520，用于利用预设的第二分辨率联合字典DHh,DHl，基于各个波段的该融合结果图像MSFL和该全色图像PAN进行全色锐化，依次得到各个波段的最终融合结果图像MSFH，第一分辨率低于第二分辨率，第三分辨率高于第一分辨率且低于第二分辨率。
其中，k=1，2，……，N，N表示多光谱波段数。
在本发明一实施例中，该第一锐化模块510具体用于：
对第三分辨率多光谱图像
Figure 449647DEST_PATH_IMAGE001
进行2倍立方卷积插值放大，得到第一图像
Figure 810221DEST_PATH_IMAGE002
。
将全色图像PAN进行2倍模糊下采样缩小，得到第二图像PANL1。
将该第一图像
Figure 321974DEST_PATH_IMAGE002
和该第二图像PANL1作为自适应全色锐化模型的输入，利用预 设的第一分辨率联合字典DLh,DLl依次得到各个波段的融合结果图像MSFL。
在本发明一实施例中，该第二锐化模块520具体用于：
将各个波段的该融合结果图像MSFL均进行2倍立方卷积插值放大得到第三图像MSFLH。
将该第三图像MSFLH和该全色图像PAN作为该自适应全色锐化模型的输入，利用预设的第二分辨率联合字典DHh,DHl依次得到各个波段的最终融合结果图像MSFH。
请参见图6，图6示出了一种电子设备的硬件结构图。
本实施例中所描述的电子设备，包括：
存储器41、处理器42及存储在存储器41上并可在处理器上运行的计算机程序，处理器执行该程序时实现前述图1所示实施例中描述的多轴运动系统的同步控制方法。
进一步地，该电子设备还包括：
至少一个输入设备43；至少一个输出设备44。
上述存储器41、处理器42、输入设备43和输出设备44通过总线45连接。
其中，输入设备43具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备44具体可为显示屏。
存储器41可以是高速随机存取记忆体（RAM，Random Access Memory）存储器，也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。存储器41用于存储一组可执行程序代码，处理器42与存储器41耦合。
进一步地，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子设备中，该计算机可读存储介质可以是前述图6所示实施例中的电子设备。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的光学遥感图像全色锐化方法。进一步地，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在发明开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种光学遥感图像全色锐化方法、装置、电子设备及可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种光学遥感图像全色锐化方法，其特征在于，包括：
利用预设的第一分辨率联合字典，基于第三分辨率多光谱图像和全色图像进行全色锐化，依次得到各个波段的融合结果图像；
利用预设的第二分辨率联合字典，基于各个波段的所述融合结果图像和所述全色图像进行全色锐化，依次得到各个波段的最终融合结果图像，所述第一分辨率低于所述第二分辨率，所述第三分辨率高于所述第一分辨率且低于所述第二分辨率。
2.根据权利要求1所述的光学遥感图像全色锐化方法，其特征在于，所述利用预设的第一分辨率联合字典，基于第三分辨率多光谱图像和全色图像进行全色锐化，依次得到各个波段的融合结果图像包括：
对第三分辨率多光谱图像进行2倍立方卷积插值放大，得到第一图像；
将全色图像进行2倍模糊下采样缩小，得到第二图像；
将所述第一图像和所述第二图像作为自适应全色锐化模型的输入，利用预设的第一分辨率联合字典依次得到各个波段的融合结果图像。
3.根据权利要求2所述的光学遥感图像全色锐化方法，其特征在于，所述利用预设的第二分辨率联合字典，基于各个波段的所述融合结果图像和所述全色图像进行全色锐化，依次得到各个波段的最终融合结果图像包括：
将各个波段的所述融合结果图像均进行2倍立方卷积插值放大，得到第三图像；
将所述第三图像和所述全色图像作为所述自适应全色锐化模型的输入，利用预设的第二分辨率联合字典依次得到各个波段的最终融合结果图像。
4.根据权利要求2或3所述的光学遥感图像全色锐化方法，其特征在于，还包括：
将所述第二图像进行立方卷积插值，得到第四图像；
利用所述全色图像和所述第四图像进行训练，得到所述第二分辨率联合字典。
5.根据权利要求2所述的光学遥感图像全色锐化方法，其特征在于，还包括：
将所述第二图像进行模糊下采样，得到第五图像；
将所述第五图像进行立方卷积插值，得到第六图像；
利用所述第二图像和所述第六图像进行训练，得到所述第一分辨率联合字典。
6.一种光学遥感图像全色锐化装置，其特征在于，包括：
第一锐化模块，用于利用预设的第一分辨率联合字典，基于第三分辨率多光谱图像和全色图像进行全色锐化，依次得到各个波段的融合结果图像；
第二锐化模块，用于利用预设的第二分辨率联合字典，基于各个波段的所述融合结果图像和所述全色图像进行全色锐化，依次得到各个波段的最终融合结果图像，所述第一分辨率低于第二分辨率，所述第三分辨率高于所述第一分辨率低于所述第二分辨率。
7.根据权利要求6所述的光学遥感图像全色锐化装置，其特征在于，所述第一锐化模块具体用于：
对第三分辨率多光谱图像进行2倍立方卷积插值放大，得到第一图像；
将全色图像进行2倍模糊下采样缩小，得到第二图像；
将所述第一图像和所述第二图像作为自适应全色锐化模型的输入，利用预设的第一分辨率联合字典依次得到各个波段的融合结果图像。
8.根据权利要求7所述的光学遥感图像全色锐化装置，其特征在于，所述第二锐化模块具体用于：
将各个波段的所述融合结果图像均进行2倍立方卷积插值放大，得到第三图像；
将所述第三图像和所述全色图像作为所述自适应全色锐化模型的输入，利用预设的第二分辨率联合字典依次得到各个波段的最终融合结果图像。
9.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至5中的任一项所述的光学遥感图像全色锐化方法中的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至5中的任一项所述的光学遥感图像全色锐化方法中的各个步骤。
CN202210913098.4A 2022-08-01 2022-08-01 光学遥感图像全色锐化方法、装置、电子设备及存储介质 Active CN114972128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913098.4A CN114972128B (zh) 2022-08-01 2022-08-01 光学遥感图像全色锐化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913098.4A CN114972128B (zh) 2022-08-01 2022-08-01 光学遥感图像全色锐化方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114972128A true CN114972128A (zh) 2022-08-30
CN114972128B CN114972128B (zh) 2022-11-01

Family

ID=82969334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913098.4A Active CN114972128B (zh) 2022-08-01 2022-08-01 光学遥感图像全色锐化方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972128B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996396A (zh) * 2010-09-16 2011-03-30 湖南大学 一种基于压缩传感理论的卫星遥感图像融合方法
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN105719262A (zh) * 2016-01-21 2016-06-29 西北大学 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN114549300A (zh) * 2021-12-29 2022-05-27 浙江大华技术股份有限公司 图像字典的生成方法、图像重建方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996396A (zh) * 2010-09-16 2011-03-30 湖南大学 一种基于压缩传感理论的卫星遥感图像融合方法
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN105825477A (zh) * 2015-01-06 2016-08-03 南京理工大学 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN105719262A (zh) * 2016-01-21 2016-06-29 西北大学 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
CN114549300A (zh) * 2021-12-29 2022-05-27 浙江大华技术股份有限公司 图像字典的生成方法、图像重建方法及相关装置

Also Published As

Publication number Publication date
CN114972128B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
JP7505986B2 (ja) Ｑｒコード生成方法、装置、記憶媒体及び電子デバイス
CN111126256B (zh) 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
US8699790B2 (en) Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN113327218B (zh) 一种基于级联网络的高光谱与全色图像融合方法
Zhuang et al. Eigenimage2Eigenimage (E2E): A self-supervised deep learning network for hyperspectral image denoising
CN112534443A (zh) 图像处理设备及其操作方法
CN115565045A (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
Liu et al. WpmDecolor: weighted projection maximum solver for contrast-preserving decolorization
Ge et al. Adaptive hash attention and lower triangular network for hyperspectral image classification
US20240161251A1 (en) Image denoising method and apparatus based on wavelet high-frequency channel synthesis
Aetesam et al. Bayesian approach in a learning-based hyperspectral image denoising framework
Yan et al. Md³net: Integrating model-driven and data-driven approaches for pansharpening
Xiao et al. Detail enhancement of image super-resolution based on detail synthesis
CN111242228A (zh) 高光谱图像分类方法、装置、设备及存储介质
Wu et al. A distributed fusion framework of multispectral and panchromatic images based on residual network
CN101889295B (zh) 生成多尺度对比度增强的图像的方法
CN114972128B (zh) 光学遥感图像全色锐化方法、装置、电子设备及存储介质
CN114972122B (zh) 高光谱遥感图像坏像元复原方法、装置、电子设备及介质
Li et al. Hyperspectral and panchromatic images fusion based on the dual conditional diffusion models
CN115063336B (zh) 一种全色与多光谱图像融合方法及其装置、介质
More et al. Horizontal Max Pooling a Novel Approach for Noise Reduction in Max Pooling for Better Feature Detect
Wang et al. A general paradigm with detail-preserving conditional invertible network for image fusion
US11436816B2 (en) Information processing device, learning device, and storage medium storing learnt model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant