CN113436077A - 边缘保持的高光谱图像超分辨率重建方法及系统 - Google Patents

边缘保持的高光谱图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN113436077A
CN113436077A CN202110857149.1A CN202110857149A CN113436077A CN 113436077 A CN113436077 A CN 113436077A CN 202110857149 A CN202110857149 A CN 202110857149A CN 113436077 A CN113436077 A CN 113436077A
Authority
CN
China
Prior art keywords
image
hyperspectral image
low
resolution
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110857149.1A
Other languages
English (en)
Inventor
郭凤华
张彩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110857149.1A priority Critical patent/CN113436077A/zh
Publication of CN113436077A publication Critical patent/CN113436077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了边缘保持的高光谱图像超分辨率重建方法及系统，获取待处理的低分辨率高光谱图像；对待处理的低分辨率高光谱图像进行预处理得到高光谱图像的低频成分；对高光谱图像的低频成分进行梯度特征提取得到若干个特征图像块；为每一个特征图像块从辅助图像集中查找k个最相近特征图像块；将k个最相近特征图像块加权求和，得到更新后的特征图像块；将更新后的特征图像块中的相邻块加权组合在一起得到高光谱图像的高频成分；将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。借助辅助图像集，采用邻域回归的方法重构高频信息，从而很好的保持了图像的边缘信息，提高重构的高分辨率高光谱图像的精度。

Description

边缘保持的高光谱图像超分辨率重建方法及系统
技术领域
本发明涉及高光谱图像超分辨率技术领域，特别是涉及边缘保持的高光谱图像超分辨率重建方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
高光谱图像(HSI，Hyperspectral Image)可以有多达几十个甚至几百个波段，具有丰富的空间纹理信息和丰富的光谱信息，这一特性使其广泛应用于农业、医学、军事和遥感等领域。但是受成像系统的硬件限制，HSI具有较低的空间分辨率。这严重限制了HSI的进一步应用与发展，因此近年来，高光谱图像超分辨率成为研究的热点之一。
高光谱图像超分辨率是一种从低分辨率高光谱图像(LR HSI，Low ResolutionHyperspectral Image)中获取高分辨率高光谱图像(HR HSI,High ResolutionHyperspectral Image)的技术，目前采用基于软件方法的超分辨率技术是提升高光谱图像空间分辨率的有效手段。图像可以看成由低频部分和高频部分组成。低频部分指的是平滑的信息，而高频部分指的是变化剧烈的部分，人的视觉系统对高频信息比低频信息敏感。通常情况下，低频信息包含了图像中的大部分能量，传统的超分辨率方法把图像作为一个整体处理，导致方法主要作用到低频部分，会漏掉大量高频信息。
发明内容
针对图像超分辨率算法中存在边缘信息丢失的问题，本发明要解决的技术问题是克服丢失边缘信息的缺陷，本发明提供了边缘保持的高光谱图像超分辨率重建方法及系统；
第一方面，本发明提供了边缘保持的高光谱图像超分辨率重建方法；
边缘保持的高光谱图像超分辨率重建方法，包括：
获取待处理的低分辨率高光谱图像；
对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
第二方面，本发明提供了边缘保持的高光谱图像超分辨率重建系统；
边缘保持的高光谱图像超分辨率重建系统，包括：
获取模块，其被配置为：获取待处理的低分辨率高光谱图像；
预处理模块，其被配置为：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
特征提取模块，其被配置为：对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
查找模块，其被配置为：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
加权组合模块，其被配置为：将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
重构模块，其被配置为：将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
与现有技术相比，本发明的有益效果是：
本发明提出的新技术，能够提高重构的高分辨率高光谱图像的精度，保持图像的边缘信息，从而使得重构出的高分辨率高光谱图像更好地用于农业、医学、军事和遥感等领域。
传统的高光谱图像超分辨率方法把图像作为一个整体处理，导致方法主要作用到低频部分，重构的高分辨率高光谱图像存在边缘信息丢失的缺陷。本专利提出一种基于边缘保持的高光谱图像超分辨率算法。把低频信息和高频信息分开处理。借助一个辅助图像集，采用邻域回归的方法重构高频信息，从而很好的保持了图像的边缘信息，提高重构的高分辨率高光谱图像的精度。
本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明中提供的高光谱图像超分辨率实现方法的过程示意图。
图2为高光谱图像第k个波段上由像素Pijk以及邻域的像素形成的四个方向d1,d2,d3和d4。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了边缘保持的高光谱图像超分辨率重建方法；
边缘保持的高光谱图像超分辨率重建方法，包括：
S101：获取待处理的低分辨率高光谱图像；
S102：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
S103：对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
S104：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
S105：将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
S106：将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
示例性的，所述S101：获取待处理的低分辨率高光谱图像；其中，低分辨率高光谱图像的低分辨率和高分辨率的范围分别是指：
一般来讲，对于星载超光谱图像(spaceborne hyperspectral imagery)，中低分辨率为超过30米，高分辨率可以达到亚米级。
进一步地，所述S102：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；具体包括：
对待处理的低分辨率高光谱图像，进行插值处理，得到高光谱图像的低频成分；通过插值，将低分辨率高光谱图像放大到与期望输出的高分辨率高光谱图像相同大小。
示例性的，所述S102：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；具体包括：
对原始的低分辨率高光谱图像
Figure BDA0003184537450000061
通过插值的方式得到插值后的图像
Figure BDA0003184537450000062
(w＜＜W，h＜＜H),插值后的图像有S个波段，每个波段图像包含W×H个像素。插值针对空间信息，插值过程会丢失许多空间的高频信息。把插值后得到的图像
Figure BDA0003184537450000063
作为重构的高分辨率高光谱图像
Figure BDA0003184537450000064
的低频部分,记为
Figure BDA0003184537450000065
其中，＜＜表示远远小于，
Figure BDA0003184537450000066
表示实数集合，W,H,S,w,h都是正整数，W表示图像的宽度，H表示图像的高度，S表示波段数，w表示图像的宽度，h表示图像的高度。
进一步地，所述S103：对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；具体包括：
对高光谱图像的低频成分进行四个方向梯度特征提取，得到若干个特征图像块；其中，所述四个方向分别是指：水平方向、垂直方向和两个对角线方向。
进一步地，所述S104：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将这k个最相近特征图像块加权求和，得到更新后的特征图像块；具体包括：
从辅助图像集中获取每个图像四个方向梯度特征；所述四个方向分别是指：水平方向、垂直方向和两个对角线方向；
根据梯度特征相似度比较，为每一个特征图像块，从辅助图像集中查找k个最相近的特征图像块；
将k个最相近特征图像块加权求和，得到更新后的特征图像块。
进一步地，将k个最相近特征图像块加权求和，得到更新后的特征图像块；其中加权求和所使用的权重通过邻域嵌入方法计算得到。
示例性的，所述辅助图像集，为高分辨率高光谱图像数据集，例如CAVE和Harvard，辅助图像集用D来表示。
示例性的，所述S104：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将这k个最相近特征图像块加权求和，得到更新后的特征图像块；具体包括：
采用图像的边缘图(edge map)来表示图像中的高频部分。具体地，采用水平，垂直以及对角线梯度来代表高频部分：
Fhigh(X)＝(gd1(X)，gd2(X)，gd3(X)，gd4(X))
其中，d1，d2，d3和d4是由像素Pijk和它位于同一个光谱波段上的邻域像素形成的四个方向,如图2所示；gdi，i＝1,2,3,4是在di方向上的梯度算子。本发明在辅助数据集D的帮助下，利用
Figure BDA0003184537450000071
重构出高分辨率高光谱图像X的高频成分Fhigh(X)。为了表示方便，本发明让Xdi＝gdi(X)，i＝1,2,3,4.
本发明利用下面的步骤重构出Xdi，i＝1,2,3,4。
第一步，分别计算出图像
Figure BDA0003184537450000072
和辅助数据集D的高频成分
Figure BDA0003184537450000073
以及Fhigh(D)。把
Figure BDA0003184537450000074
和Fhigh(D)分成小的可重叠的特征图像块的集合如下所示,
Figure BDA0003184537450000075
Figure BDA0003184537450000076
第二步，重构出的高频成分Fhigh(X)也表示为可重叠的特征图像块的集合，这些特征图像块集合如下所示:
Figure BDA0003184537450000081
特征图像块的数量m,n取决于特征图像块的尺寸l×l×s以及特征图像块之间重叠的程度，这里l是特征图像块的宽度和高度，s是波段数，p＝1,…,m,q＝1,…,n,m,n,l,s,p和q都是正整数。算法基于特征图像块，每个特征图像块可以用一个特征矢量表示，该特征矢量可以看作是特征空间中的一个点。
第三步，对每一个特征图像块
Figure BDA0003184537450000082
本发明在辅助数据集的高频成分Fhigh(D)中找到与该特征图像块
Figure BDA0003184537450000083
最相近的k个特征图像块
Figure BDA0003184537450000084
与
Figure BDA0003184537450000085
相对应的特征图像块
Figure BDA0003184537450000086
可以通过对这k个最相邻的特征图像块
Figure BDA0003184537450000087
加权平均得到。每个特征图像块的权重系数通过邻域嵌入方法计算得到，具体模型如下，
Figure BDA0003184537450000088
其中，权重系数α＝[α1，α2,…,αk]，λ是正则项系数.权重系数α可以通过下式计算
Figure BDA0003184537450000089
其中，I是单位矩阵,
Figure BDA00031845374500000810
是辅助数据集中与该特征图像块
Figure BDA00031845374500000811
最相近的k个特征图像块。利用计算出的权重系数α，与
Figure BDA00031845374500000812
相对应的特征图像块
Figure BDA00031845374500000813
可以通过下式计算得出，
Figure BDA00031845374500000814
其中，
Figure BDA00031845374500000815
辅助数据集中与特征图像块
Figure BDA00031845374500000816
最相近的k个特征图像块，α是前面计算出的权重系数。最后特征图像Xdi由这些特征图像块
Figure BDA00031845374500000817
组合得出。
对于小特征图像块的尺寸l×l×s可以有多种取法，例如s＝1，此时本发明把高光谱图像
Figure BDA0003184537450000091
的每个波段看作是一幅灰度图像
Figure BDA0003184537450000092
i＝1,2,…,S，整个高光谱图像X由S个灰度图像组合而成，把每个灰度图像划分成一系列的小特征图像块。
对每一个特征图像块
Figure BDA0003184537450000093
本发明在辅助图像集的高频成分Fhigh(D)中找到与该特征图像块
Figure BDA0003184537450000094
最相近的k个特征图像块
Figure BDA0003184537450000095
查找最相近特征图像块的算法有很多种，这里不加限制。
权重系数α＝[α1，α2,…,αk]也可以通过求解如下模型：
Figure BDA0003184537450000096
得到，其中，
Figure BDA0003184537450000097
是辅助数据集中与该特征图像块
Figure BDA0003184537450000098
最相近的k个特征图像块，λ是正则项系数。公式(5)与公式(2)的不同之处在于正则项采用的范数不同：公式(5)采用1-范数，公式(2)采用了2-范数。
进一步地，所述S105：将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；具体包括：
将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分，相邻块组合在一起时，相邻块的重叠部分进行加权平均，采用高斯函数作为加权系数。
应理解的，每个特征图像块
Figure BDA0003184537450000099
不仅仅与
Figure BDA00031845374500000910
有关，还应该保留相邻特征图像块之间的关系。前者决定了构造的精度，后者决定了局部兼容性和平滑度。
总之，本发明的方法具有以下特征:
(a)每个重构的特征图像块
Figure BDA00031845374500000911
与从辅助图像集中学到的多个最近邻的特征图像块有关；
(b)重构出的Fhigh(X)应该保留
Figure BDA0003184537450000101
中特征图像块之间的局部关系。
进一步地，所述S106：将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像；具体包括：
构建能量函数：
Figure BDA0003184537450000102
其中，wi是权重系数，i＝1，2，3，4，gdi是di方向的梯度算子，Xdi是前面重构出的di方向的梯度图像。
为了使X能够反映通过某个像素的边的特性，边的信息用于决定公式(6)中的权重系数wi，将公式(6)中的像素设置为与梯度图像Xdi中对应的像素值成反比，wi具体计算如下：
Figure BDA0003184537450000103
β1＝|Xd2·Xd3·Xd4|，β2＝|Xd1·Xd3·Xd4|，
β3＝|Xd1·Xd2·Xd4|，β4＝|Xd1·Xd2·Xd3|，
Xdi是前面重构出的di方向的梯度图像.
采用梯度下降法对公式(6)进行求解；
采用迭代算法将高频成分和低频成分组合在一起：
设置高分辨率高光谱图像
Figure BDA0003184537450000104
的初值：
X0＝Flow(X)， (8)
其中，Flow(X)是X的低频部分；
用梯度下降法更新高分辨率高光谱图像X，
Figure BDA0003184537450000111
Figure BDA0003184537450000112
h为正整数，h≥1是迭代次数，
Figure BDA0003184537450000113
是步长，gdi是di方向的梯度算子，Xdi是前面重构出的di方向的梯度图像。
图1为本发明中提供的高光谱图像超分辨率实现方法的过程示意图。图2为高光谱图像第k个波段图像中由像素Pijk以及邻域的像素形成的四个方向，d1，d2，d3和d4。
实施例二
本实施例提供了边缘保持的高光谱图像超分辨率重建系统；
边缘保持的高光谱图像超分辨率重建系统，包括：
获取模块，其被配置为：获取待处理的低分辨率高光谱图像；
预处理模块，其被配置为：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
特征提取模块，其被配置为：对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
查找模块，其被配置为：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
加权组合模块，其被配置为：将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
重构模块，其被配置为：将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
此处需要说明的是，上述获取模块、预处理模块、特征提取模块、查找模块、加权组合模块和重构模块对应于实施例一中的步骤S101至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.边缘保持的高光谱图像超分辨率重建方法，其特征是，包括：
获取待处理的低分辨率高光谱图像；
对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
2.如权利要求1所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；具体包括：
对待处理的低分辨率高光谱图像，进行插值处理，得到高光谱图像的低频成分；通过插值，将低分辨率高光谱图像放大到与期望输出的高分辨率高光谱图像相同大小。
3.如权利要求1所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；具体包括：
对高光谱图像的低频成分进行四个方向梯度特征提取，得到若干个特征图像块；其中，所述四个方向分别是指：水平方向、垂直方向和两个对角线方向。
4.如权利要求1所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将这k个最相近特征图像块加权求和，得到更新后的特征图像块；具体包括：
从辅助图像集中获取每个图像四个方向梯度特征；所述四个方向分别是指：水平方向、垂直方向和两个对角线方向；
根据梯度特征相似度比较，为每一个特征图像块，从辅助图像集中查找k个最相近的特征图像块；
将k个最相近特征图像块加权求和，得到更新后的特征图像块。
5.如权利要求4所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，将k个最相近特征图像块加权求和，得到更新后的特征图像块；其中加权求和所使用的权重通过邻域嵌入方法计算得到。
6.如权利要求1所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；具体包括：
将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分，相邻块组合在一起时，相邻块的重叠部分进行加权平均，采用高斯函数作为加权系数。
7.如权利要求1所述的边缘保持的高光谱图像超分辨率重建方法，其特征是，将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像；具体包括：
构建能量函数：
Figure FDA0003184537440000031
其中，wi是权重系数，i＝1，2，3，4，gdi是di方向的梯度算子，Xdi是前面重构出的di方向的梯度图像；
为了使X能够反映通过某个像素的边的特性，边的信息用于决定公式(6)中的权重系数wi，将公式(6)中的像素设置为与梯度图像Xdi中对应的像素值成反比，wi具体计算如下：
Figure FDA0003184537440000032
β1＝|Xd2·Xd3·Xd4|，β2＝|Xd1·Xd3·Xd4|，
β3＝|Xd1·Xd2·Xd4|，β4＝|Xd1·Xd2·Xd3|，
Xdi是前面重构出的di方向的梯度图像.
采用梯度下降法对公式(6)进行求解；
采用迭代算法将高频成分和低频成分组合在一起：
设置高分辨率高光谱图像
Figure FDA0003184537440000033
的初值：
X0＝Flow(X)， (8)
其中，Flow(X)是X的低频部分；
用梯度下降法更新高分辨率高光谱图像X，
Figure FDA0003184537440000034
Figure FDA0003184537440000035
h为正整数，h≥1是迭代次数，
Figure FDA0003184537440000036
是步长，gdi是di方向的梯度算子，Xdi是前面重构出的di方向的梯度图像。
8.边缘保持的高光谱图像超分辨率重建系统，其特征是，包括：
获取模块，其被配置为：获取待处理的低分辨率高光谱图像；
预处理模块，其被配置为：对待处理的低分辨率高光谱图像，进行预处理，得到高光谱图像的低频成分；
特征提取模块，其被配置为：对高光谱图像的低频成分进行梯度特征提取，得到若干个特征图像块；
查找模块，其被配置为：为每一个特征图像块，从辅助图像集中查找k个最相近特征图像块；其中，k为正整数；将k个最相近特征图像块加权求和，得到更新后的特征图像块；
加权组合模块，其被配置为：将更新后的特征图像块中的相邻块，加权组合在一起，得到高光谱图像的高频成分；
重构模块，其被配置为：将高光谱图像的低频成分与高光谱图像的高频成分进行融合，得到重构的高分辨率高光谱图像。
9.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。
CN202110857149.1A 2021-07-28 2021-07-28 边缘保持的高光谱图像超分辨率重建方法及系统 Pending CN113436077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110857149.1A CN113436077A (zh) 2021-07-28 2021-07-28 边缘保持的高光谱图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110857149.1A CN113436077A (zh) 2021-07-28 2021-07-28 边缘保持的高光谱图像超分辨率重建方法及系统

Publications (1)

Publication Number Publication Date
CN113436077A true CN113436077A (zh) 2021-09-24

Family

ID=77762154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110857149.1A Pending CN113436077A (zh) 2021-07-28 2021-07-28 边缘保持的高光谱图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN113436077A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469360A (zh) * 2015-12-25 2016-04-06 西北工业大学 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法
CN109410177A (zh) * 2018-09-28 2019-03-01 深圳大学 一种超分辨率图像的图像质量分析方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469360A (zh) * 2015-12-25 2016-04-06 西北工业大学 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法
CN109410177A (zh) * 2018-09-28 2019-03-01 深圳大学 一种超分辨率图像的图像质量分析方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FENGHUA GUO等: ""Edge preserving mixed noise removal"", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
FENGHUA GUO等: ""Edge preserving mixed noise removal"", 《MULTIMEDIA TOOLS AND APPLICATIONS》, 18 December 2018 (2018-12-18), pages 1 - 13, XP036813870, DOI: 10.1007/s11042-018-7004-3 *
尧潞阳: ""基于图像自相似性与压缩感知的超分辨率重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
尧潞阳: ""基于图像自相似性与压缩感知的超分辨率重建"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 03, 15 March 2017 (2017-03-15), pages 2 - 5 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091322A (zh) * 2023-04-12 2023-05-09 山东科技大学 超分辨率图像重建方法和计算机设备

Similar Documents

Publication Publication Date Title
Jiang et al. Learning spatial-spectral prior for super-resolution of hyperspectral imagery
CN109727207B (zh) 基于光谱预测残差卷积神经网络的高光谱图像锐化方法
CN109859110B (zh) 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法
Li et al. Single hyperspectral image super-resolution with grouped deep recursive residual network
Song et al. Spatiotemporal satellite image fusion through one-pair image learning
Irmak et al. A MAP-based approach for hyperspectral imagery super-resolution
JP6012408B2 (ja) 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法
US20130129201A1 (en) Method for Pan-Sharpening Panchromatic and Multispectral Images Using Wavelet Dictionaries
CN108932708A (zh) 基于超分辨增强的星载多光谱遥感图像融合方法
CN114119444A (zh) 一种基于深度神经网络的多源遥感图像融合方法
AU2009260127B2 (en) Compact representation of a reflectance spectrum
Ma et al. Explicit and stepwise models for spatiotemporal fusion of remote sensing images with deep neural networks
CN115082582A (zh) 卫星遥感数据真彩色模拟方法、系统、设备及介质
KR20120000736A (ko) 영상의 분광 및 공간특성이 반영된 융합계수를 이용하여 고해상도 위성영상을 융합하는 방법
CN113436077A (zh) 边缘保持的高光谱图像超分辨率重建方法及系统
Li et al. Spatial-temporal super-resolution land cover mapping with a local spatial-temporal dependence model
Xiong et al. Gradient boosting for single image super-resolution
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
CN113409193B (zh) 高光谱图像的超分辨率重建方法和装置
Piestova et al. Multispectral imagery super-resolution with logical reallocation of spectra
Moustafa et al. Rapid real-time generation of super-resolution hyperspectral images through compressive sensing and GPU
Nair et al. Hyperspectral image fusion using fast high-dimensional denoising
CN113344846B (zh) 基于生成对抗网络和压缩感知的遥感图像融合方法及系统
CN110807746B (zh) 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法
Panigrahi et al. Image pan-sharpening and sub-pixel classification enabled building detection in strategically challenged forest neighborhood environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924

RJ01 Rejection of invention patent application after publication