CN112927149B - 高光谱图像的空间分辨率增强方法、装置及电子设备 - Google Patents

高光谱图像的空间分辨率增强方法、装置及电子设备 Download PDF

Info

Publication number
CN112927149B
CN112927149B CN202110190528.XA CN202110190528A CN112927149B CN 112927149 B CN112927149 B CN 112927149B CN 202110190528 A CN202110190528 A CN 202110190528A CN 112927149 B CN112927149 B CN 112927149B
Authority
CN
China
Prior art keywords
image
target
current
resolution
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110190528.XA
Other languages
English (en)
Other versions
CN112927149A (zh
Inventor
廉玉生
曹栩珩
刘金钠
胡永乐
呼香美
王彩艺
何孜孜
陈颖雯
储熠阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Graphic Communication
Original Assignee
Beijing Institute of Graphic Communication
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Graphic Communication filed Critical Beijing Institute of Graphic Communication
Priority to CN202110190528.XA priority Critical patent/CN112927149B/zh
Publication of CN112927149A publication Critical patent/CN112927149A/zh
Application granted granted Critical
Publication of CN112927149B publication Critical patent/CN112927149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种高光谱图像的空间分辨率增强方法、装置及电子设备，获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；将高分辨率图像预设分块处理得到的每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，获取对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像。本申请能够提高高光谱图像的空间分辨率。

Description

高光谱图像的空间分辨率增强方法、装置及电子设备
技术领域
本申请涉及软件技术领域，尤其是涉及一种高光谱图像的空间分辨率增强方法、装置及电子设备。
背景技术
光谱成像技术可以同时获取二维空间图像信息和一维光谱信息，但目前的光谱成像技术获取的光谱图像立方体普遍存在无法同时达到高光谱分辨率和高空间图像分辨率的问题。针对上述问题，目前的解决方法为在残差模块预测的基础上，利用卷积神经网络训练进行光谱图像立方体增强。但是在实际应用中，当目前光源环境不被包括于模型训练数据集中时，预测方法就变得不再准确，而且，这种基于深度学习的重构算法对于颜色变化范围较小的图像块的光谱预测精度较低。
发明内容
本申请的目的在于提供一种高光谱图像的空间分辨率增强方法、装置及电子设备，能够提高高光谱图像的空间分辨率。
第一方面，本申请实施例提供一种高光谱图像的空间分辨率增强方法，方法包括：获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；高分辨率图像为IPT颜色空间图像；将高分辨率图像进行预设分块处理，得到多个图像块；将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像。
进一步的，上述获取目标高光谱图像和目标高光谱图像对应的高分辨率图像的步骤，包括：通过光谱仪在指定光源信息下对目标进行拍摄，得到目标高光谱图像；通过高空间分辨率相机对目标进行拍摄，得到目标高分辨率图像；将目标高分辨率图像在指定光源信息下转换至IPT颜色空间，得到目标高光谱图像对应的高分辨率图像。
进一步的，上述将高分辨率图像进行预设分块处理，得到多个图像块的步骤，包括：对高分辨率图像进行第一预设次数的横向切割和第二预设次数的纵向切割，得到高分辨率图像对应的多个图像块。
进一步的，上述所述均值聚类处理对应的算法包括：K均值聚类算法。
进一步的，上述根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征的步骤，包括：将每个目标聚类中心作为当前聚类中心，执行以下步骤：根据当前聚类中心在当前图像块中的第一坐标值、当前图像块在高分辨图像中的位置及高分辨率图像与目标高光谱图像长宽比，计算当前聚类中心在高光谱图像中的第二坐标值；提取高光谱图像中第二坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
进一步的，上述根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征的步骤，包括：对目标高光谱图像进行预设分块处理，得到多个高光谱图像块；将每个目标聚类中心作为当前聚类中心，执行以下步骤：从多个高光谱图像块中查找当前聚类中心所在当前图像块对应的目标高光谱图像块；根据当前聚类中心在当前图像块中的第一坐标值，及当前图像块与目标高光谱图像块的长宽比，计算当前聚类中心在目标高光谱图像块中的第三坐标值；提取目标高光谱图像块中第三坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
进一步的，上述基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块的步骤，包括：将每个目标聚类中心作为当前目标聚类中心，均执行以下步骤：将当前目标聚类中心对应的光谱特征，赋值于当前目标聚类中心对应的簇，以完成对簇的图像重构；在当前图像块中所有簇的图像重构完成后，得到当前图像块对应的高空间分辨率高光谱图像块。
第二方面，本申请实施例还提供一种高光谱图像的空间分辨率增强装置，装置包括：图像获取模块，用于获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；高分辨率图像为IPT颜色空间图像；图像分块模块，用于将高分辨率图像进行预设分块处理，得到多个图像块；图像重构模块，用于将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；图像拼合模块，用于将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的高光谱图像的空间分辨率增强方法、装置及电子设备中，首先获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；该高分辨率图像为IPT颜色空间图像；然后将高分辨率图像进行预设分块处理，得到多个图像块；将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；最后将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像，从而实现对目标高光谱图像的空间分辨率的增强。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高光谱图像的空间分辨率增强方法的流程图；
图2为本申请实施例提供的一种重构高光谱图像与实际高光谱图像的对比结果示意图；
图3为本申请实施例提供的一种高光谱图像的空间分辨率增强装置的结构框图；
图4为本申请实施例提供的另一种高光谱图像的空间分辨率增强装置的结构框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
光谱成像技术可以同时获取二维空间图像信息和一维光谱信息，被广泛应用于遥感、艺术品典藏分析、物证鉴定、印刷品质量分析检测等领域。但目前的光谱成像技术获取的光谱图像立方体普遍存在无法同时达到高光谱分辨率和高空间图像分辨率的问题。例如：光栅光谱仪的光谱分辨率和空间分辨率就不能兼顾，也就是说在光栅光谱仪的成像面阵较大时，受其谱线弯曲的影响，无法保证高光谱分辨率的精度。
针对上述问题，目前的解决方法为在残差模块预测的基础上，利用卷积神经网络训练进行光谱图像立方体增强：即先将低分辨率高光谱数据进行上采样，然后对上采样的光谱数据使用残差模块预测得到预测后的高分辨率光谱数据，然后将获取的RGB图像与预测的高分辨率光谱数据按第三维度拼接，再经过残差模块进行二次预测，得到细节增强的高分辨率高光谱数据，最后通过卷积神经网络进行输出预测得到最终的高分辨率高光谱图像。
但是在实际应用中，当目前光源环境不被包括于模型训练数据集中时，预测方法就变得不再准确。再者，这种基于深度学习的重构算法对于颜色变化范围较小的图像块的光谱预测精度较低。
基于此，本申请实施例提供一种高光谱图像的空间分辨率增强方法、装置及电子设备，为便于对本实施例进行理解，首先对本申请实施例所公开的一种高光谱图像的空间分辨率增强方法进行详细介绍。
图1为本申请实施例提供的一种高光谱图像的空间分辨率增强方法的流程图，该方法具体包括以下步骤：
步骤S102，获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；高分辨率图像为IPT颜色空间图像。
现有的光谱仪采集的图像，在光谱分辨率和空间分辨率上不能兼顾，往往在获得高光谱分辨率的情况下，其空间分辨率就比较低，本申请实施例中的目标高光谱图像为通过光谱仪在指定光源信息下对目标进行拍摄得到的，因而其光谱分辨率较高，而空间分辨率较低。为了提高其空间分辨率，首先需要获取目标高光谱图像对应高分辨率的IPT颜色空间图像。
步骤S104，将高分辨率图像进行预设分块处理，得到多个图像块。
对上述高分辨率图像进行分块的目的是为了避免同色异谱现象，由于整张图像颜色相同，而光谱差异很大的几率较高，分块之后就可以有效的避免该现象的产生。分块处理后，可以得到多个图像块。
步骤S106，将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块。
针对每个图像块，均进行上述均值聚类处理，光谱特征提取，基于光谱特征和簇进行图像重构，即可得到每个图像块对应的高空间分辨率高光谱图像块。具体的均值聚类处理，光谱特征提取，图像重构过程在后续进行详细阐述。
步骤S108，将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像。
按照分块方式的逆方向，再将多个图像块分别重构出的高空间分辨率高光谱图像块进行拼合，即可得到目标高光谱图像对应的高空间分辨率的高光谱图。
本申请实施例提供的高光谱图像的空间分辨率增强方法中，首先获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；该高分辨率图像为IPT颜色空间图像；然后将高分辨率图像进行预设分块处理，得到多个图像块；将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；最后将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像，从而实现对目标高光谱图像的空间分辨率的增强。
下面列举一个详细的实施例，阐述上述各个步骤：
上述步骤S102，获取目标高光谱图像和目标高光谱图像对应的高分辨率图像的具体实现过程如下：
(1)通过光谱仪在指定光源信息下对目标进行拍摄，得到目标高光谱图像。比如，指定光源信息为：D65光源2°视场；光谱仪采集到的目标高光谱图像维度为：325×348×31。
(2)通过高空间分辨率相机对目标进行拍摄，得到目标高分辨率图像。比如，目标高分辨率图像维度为1300×1392×3。
(3)将目标高分辨率图像在指定光源信息下转换至IPT颜色空间，得到目标高光谱图像对应的高分辨率图像。
将上述目标高分辨率图像在D65光源2°视场的条件下转换到XYZ三维空间中，再将XYZ三维空间图像转换到IPT颜色空间，得到IPT颜色空间的高分辨率图像，即上述目标高光谱图像对应的高分辨率图像。
上述步骤S104，将高分辨率图像进行预设分块处理，得到多个图像块可以通过以下方式实现：
对高分辨率图像进行第一预设次数的横向切割和第二预设次数的纵向切割，得到高分辨率图像对应的多个图像块。
以上述获取的高分辨率图像1300×1392×3为例进行说明，可以先将高分辨率图像的数组横向切割为40行，再对40行进行纵向切割，分割成40列，最终高分辨率图像分为40×40块，每个图像块维度为：32×34×3。在分割的时候可以使用numpy.array_split()进行数组拆分。
一种优选的实施方式中，上述均值聚类处理对应的算法包括：K均值聚类算法。即，在本申请实施例中，可以通过K均值聚类算法，对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇。
K均值聚类算法是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类，也就是一个簇。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类，没有(或最小数目)聚类中心再发生变化，误差平方和局部最小。
本申请实施例中，设定K为20，则通过上述聚类过程，可以确定出20个目标聚类中心及每个目标聚类中心对应的簇。进一步，可以根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征，这里有两种可选的方式：
方式一：将每个目标聚类中心作为当前聚类中心，执行以下步骤：根据当前聚类中心在当前图像块中的第一坐标值、当前图像块在当前高分辨率图像中的位置及高分辨率图像与目标高光谱图像长宽比，计算当前聚类中心在目标高光谱图像中的第二坐标值；提取高光谱图像中第二坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
由于当前图像块是由当前高分辨图像均匀分割得到的，即存在固定的长宽比例关系，因此，可以根据当前图像块在当前高分辨图像中的位置，计算聚类中心在当前图像块中的第一坐标值，即长宽分别与当前高分辨率图像的长宽的比值，然后利用该比值分别乘以目标高光谱图像的长和宽，即可得到当前聚类中心在目标高光谱图像中的第二坐标值。
还以上述例子为例进行说明，当前高分辨率图像块的长宽为32×34，以图像左上角为(0,0)点，该块内第一个聚类中心位于(26，32)，其中，26、32指的是像素点的位置。当前图像块位于高分辨率图像中的第一行第二列，因此，可以计算出该聚类中心(26，32)与高分辨率图像的长宽的比值，最后利用比值乘以目标高光谱图像的长和宽，即可得到当前聚类中心(26，32)在目标高光谱图像中的第二坐标值。
方式二：对目标高光谱图像进行预设分块处理，得到多个高光谱图像块；将每个目标聚类中心作为当前聚类中心，执行以下步骤：从多个高光谱图像块中查找当前聚类中心所在当前图像块对应的目标高光谱图像块；根据当前聚类中心在当前图像块中的第一坐标值，及当前图像块与目标高光谱图像块的长宽比，计算当前聚类中心在目标高光谱图像块中的第三坐标值；提取目标高光谱图像块中第三坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
还以上述例子为例进行说明，目标高光谱图像325×348×31分块后，每个高光谱图像块维度为8×9×3。当前高分辨率图像块的长宽为32×34，以图像左上角为(0,0)点，该块内第一个聚类中心位于(26，32)，则该聚类中心位于该长的81.25％处，宽的94.12％处；该当前高分辨率图像块对应的目标高光谱图像块的宽长分别为8，9；则该聚类中心在目标高光谱图像块中的第三坐标值为(6，8)。
需要说明的是，如果计算出的值为小数，则将其归于最近的像素点。
进一步的，上述步骤S106中，基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块的步骤具体包括以下过程：
将每个目标聚类中心作为当前目标聚类中心，均执行以下步骤：将当前目标聚类中心对应的光谱特征，赋值于当前目标聚类中心对应的簇，以完成对簇的图像重构；在当前图像块中所有簇的图像重构完成后，得到当前图像块对应的高空间分辨率高光谱图像块。
在提取出上述20个目标聚类中心分别对应的光谱特征后，针对每个目标聚类中心对应的簇，将该目标聚类中心对应的光谱特征，赋值于该目标聚类中心对应的簇中所有点，完成对簇的图像重构，在完成20个目标聚类中心对其簇的赋值后，得到该图像块对应的高空间分辨率高光谱图像块。
最后，将1600块图像块依次完成重构并拼合，得到目标高光谱图像对应的高空间分辨率高光谱图像，图2示出了重构高光谱图像与实际高光谱图像的对比结果，其中，真实值代表实际高光谱图像的数据，预测值代表重构高光谱图像的数据。由图2所示，预测值与真实值的基本吻合证明了该方法用于实现高光谱图像空间超分辨率的可行性。
本申请实施例提供的高光谱图像的空间分辨率增强方法，可以通过高分辨率图像对低空间分辨率高光谱图像的空间维度进行增强，得到高空间分辨率的高光谱图像。
基于上述方法实施例，本申请实施例还提供一种高光谱图像的空间分辨率增强装置，参见图3所示，该装置包括：
图像获取模块32，用于获取目标高光谱图像和目标高光谱图像对应的高分辨率图像；高分辨率图像为IPT颜色空间图像；图像分块模块34，用于将高分辨率图像进行预设分块处理，得到多个图像块；图像重构模块36，用于将每个图像块作为当前图像块，执行以下步骤：对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇；根据每个目标聚类中心的位置信息，从目标高光谱图像中获取每个目标聚类中心对应的光谱特征；基于每个目标聚类中心对应的光谱特征和簇，对当前图像块进行图像重构，得到当前图像块对应的高空间分辨率高光谱图像块；图像拼合模块38，用于将多个图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到目标高光谱图像对应的高空间分辨率的高光谱图像。
进一步的，上述图像获取模块32还用于：通过光谱仪在指定光源信息下对目标进行拍摄，得到目标高光谱图像；通过高空间分辨率相机对目标进行拍摄，得到目标高分辨率图像；将目标高分辨率图像在指定光源信息下转换至IPT颜色空间，得到目标高光谱图像对应的高分辨率图像。
进一步的，上述图像分块模块34还用于：对高分辨率图像进行第一预设次数的横向切割和第二预设次数的纵向切割，得到高分辨率图像对应的多个图像块。
进一步的，参见图4所示，上述图像重构模块36包括：聚类模块362，用于通过K均值聚类算法，对当前图像块进行均值聚类处理，确定当前图像块中的多个目标聚类中心及每个目标聚类中心对应的簇。
进一步的，上述图像重构模块36还包括：光谱提取模块364，用于将每个目标聚类中心作为当前聚类中心，执行以下步骤：根据当前聚类中心在当前图像块中的第一坐标值、当前图像块在高分辨图像中的位置及高分辨率图像与目标高光谱图像长宽比，计算当前聚类中心在高光谱图像中的第二坐标值；提取高光谱图像中第二坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
进一步的，上述光谱提取模块364还用于：对目标高光谱图像进行预设分块处理，得到多个高光谱图像块；将每个目标聚类中心作为当前聚类中心，执行以下步骤：从多个高光谱图像块中查找当前聚类中心所在当前图像块对应的目标高光谱图像块；根据当前聚类中心在当前图像块中的第一坐标值，及当前图像块与目标高光谱图像块的长宽比，计算当前聚类中心在目标高光谱图像块中的第三坐标值；提取目标高光谱图像块中第三坐标值对应的光谱特征，将提取到的光谱特征作为当前聚类中心对应的光谱特征。
进一步的，上述图像重构模块36包括：光谱赋值模块366，用于将每个目标聚类中心作为当前目标聚类中心，均执行以下步骤：将当前目标聚类中心对应的光谱特征，赋值于当前目标聚类中心对应的簇，以完成对簇的图像重构；在当前图像块中所有簇的图像重构完成后，得到当前图像块对应的高空间分辨率高光谱图像块。
本申请实施例提供的高光谱图像的空间分辨率增强装置，其实现原理及产生的技术效果和前述高光谱图像的空间分辨率增强方法实施例相同，为简要描述，高光谱图像的空间分辨率增强装置的实施例部分未提及之处，可参考前述高光谱图像的空间分辨率增强方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图5所示，为该电子设备的结构示意图，其中，该电子设备包括处理器51和存储器50，该存储器50存储有能够被该处理器51执行的计算机可执行指令，该处理器51执行该计算机可执行指令以实现上述方法。
在图5示出的实施方式中，该电子设备还包括总线52和通信接口53，其中，处理器51、通信接口53和存储器50通过总线52连接。
其中，存储器50可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线52可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的高光谱图像的空间分辨率增强方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种高光谱图像的空间分辨率增强方法，其特征在于，所述方法包括：
获取目标高光谱图像和所述目标高光谱图像对应的高分辨率图像；所述高分辨率图像为IPT颜色空间图像；
将所述高分辨率图像进行预设分块处理，得到多个图像块；将每个图像块作为当前图像块，执行以下步骤：
对所述当前图像块进行均值聚类处理，确定所述当前图像块中的多个目标聚类中心及每个所述目标聚类中心对应的簇；根据每个所述目标聚类中心的位置信息，从所述目标高光谱图像中获取每个所述目标聚类中心对应的光谱特征；基于每个所述目标聚类中心对应的光谱特征和簇，对所述当前图像块进行图像重构，得到所述当前图像块对应的高空间分辨率高光谱图像块；
将多个所述图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到所述目标高光谱图像对应的高空间分辨率的高光谱图像；
根据每个所述目标聚类中心的位置信息，从所述目标高光谱图像中获取每个所述目标聚类中心对应的光谱特征的步骤，包括：
将每个所述目标聚类中心作为当前聚类中心，执行以下步骤：根据所述当前聚类中心在所述当前图像块中的第一坐标值、所述当前图像块在所述高分辨率图像中的位置及所述高分辨率图像与所述目标高光谱图像长宽比，计算所述当前聚类中心在所述高光谱图像中的第二坐标值；提取所述高光谱图像中所述第二坐标值对应的光谱特征，将提取到的所述光谱特征作为所述当前聚类中心对应的光谱特征；
或者，对所述目标高光谱图像进行所述预设分块处理，得到多个高光谱图像块；将每个所述目标聚类中心作为当前聚类中心，执行以下步骤：从多个所述高光谱图像块中查找所述当前聚类中心所在当前图像块对应的目标高光谱图像块；根据所述当前聚类中心在所述当前图像块中的第一坐标值，及所述当前图像块与所述目标高光谱图像块的长宽比，计算所述当前聚类中心在所述目标高光谱图像块中的第三坐标值；提取所述目标高光谱图像块中所述第三坐标值对应的光谱特征，将提取到的所述光谱特征作为所述当前聚类中心对应的光谱特征。
2.根据权利要求1所述的方法，其特征在于，获取目标高光谱图像和所述目标高光谱图像对应的高分辨率图像的步骤，包括：
通过光谱仪在指定光源信息下对目标进行拍摄，得到目标高光谱图像；
通过高空间分辨率相机对所述目标进行拍摄，得到目标高分辨率图像；
将所述目标高分辨率图像在所述指定光源信息下转换至IPT颜色空间，得到所述目标高光谱图像对应的高分辨率图像。
3.根据权利要求1所述的方法，其特征在于，将所述高分辨率图像进行预设分块处理，得到多个图像块的步骤，包括：
对所述高分辨率图像进行第一预设次数的横向切割和第二预设次数的纵向切割，得到所述高分辨率图像对应的多个图像块。
4.根据权利要求1所述的方法，其特征在于，所述均值聚类处理对应的算法包括：K均值聚类算法。
5.根据权利要求4所述的方法，其特征在于，基于每个所述目标聚类中心对应的光谱特征和簇，对所述当前图像块进行图像重构，得到所述当前图像块对应的高空间分辨率高光谱图像块的步骤，包括：
将每个所述目标聚类中心作为当前目标聚类中心，均执行以下步骤：
将所述当前目标聚类中心对应的光谱特征，赋值于所述当前目标聚类中心对应的簇，以完成对所述簇的图像重构；
在所述当前图像块中所有簇的图像重构完成后，得到所述当前图像块对应的高空间分辨率高光谱图像块。
6.一种高光谱图像的空间分辨率增强装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标高光谱图像和所述目标高光谱图像对应的高分辨率图像；所述高分辨率图像为IPT颜色空间图像；
图像分块模块，用于将所述高分辨率图像进行预设分块处理，得到多个图像块；
图像重构模块，用于将每个图像块作为当前图像块，执行以下步骤：对所述当前图像块进行均值聚类处理，确定所述当前图像块中的多个目标聚类中心及每个所述目标聚类中心对应的簇；根据每个所述目标聚类中心的位置信息，从所述目标高光谱图像中获取每个所述目标聚类中心对应的光谱特征；基于每个所述目标聚类中心对应的光谱特征和簇，对所述当前图像块进行图像重构，得到所述当前图像块对应的高空间分辨率高光谱图像块；
图像拼合模块，用于将多个所述图像块分别对应的高空间分辨率高光谱图像块进行拼合，得到所述目标高光谱图像对应的高空间分辨率的高光谱图像；
所述图像重构模块，还用于将每个所述目标聚类中心作为当前聚类中心，执行以下步骤：根据所述当前聚类中心在所述当前图像块中的第一坐标值、所述当前图像块在所述高分辨率图像中的位置及所述高分辨率图像与所述目标高光谱图像长宽比，计算所述当前聚类中心在所述高光谱图像中的第二坐标值；提取所述高光谱图像中所述第二坐标值对应的光谱特征，将提取到的所述光谱特征作为所述当前聚类中心对应的光谱特征；或者，对所述目标高光谱图像进行所述预设分块处理，得到多个高光谱图像块；将每个所述目标聚类中心作为当前聚类中心，执行以下步骤：从多个所述高光谱图像块中查找所述当前聚类中心所在当前图像块对应的目标高光谱图像块；根据所述当前聚类中心在所述当前图像块中的第一坐标值，及所述当前图像块与所述目标高光谱图像块的长宽比，计算所述当前聚类中心在所述目标高光谱图像块中的第三坐标值；提取所述目标高光谱图像块中所述第三坐标值对应的光谱特征，将提取到的所述光谱特征作为所述当前聚类中心对应的光谱特征。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至5任一项所述的方法。
CN202110190528.XA 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备 Active CN112927149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110190528.XA CN112927149B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190528.XA CN112927149B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112927149A CN112927149A (zh) 2021-06-08
CN112927149B true CN112927149B (zh) 2023-07-04

Family

ID=76169927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190528.XA Active CN112927149B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112927149B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952317A (zh) * 2017-03-23 2017-07-14 西安电子科技大学 基于结构稀疏的高光谱图像重建方法
CN109447898A (zh) * 2018-09-19 2019-03-08 北京理工大学 一种基于压缩感知的高光谱超分辨计算成像系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004061176A (ja) * 2002-07-25 2004-02-26 Hiroki Kusumoto ハイパースペクトル画像解析システム
CN105261000B (zh) * 2015-09-17 2018-04-24 哈尔滨工程大学 一种基于端元提取与光谱解混的高光谱图像融合方法
CN108009559B (zh) * 2016-11-02 2021-12-24 哈尔滨工业大学 一种基于空谱联合信息的高光谱数据分类方法
CN108520495B (zh) * 2018-03-15 2021-09-07 西北工业大学 基于聚类流形先验的高光谱图像超分辨重建方法
CN108765280A (zh) * 2018-03-30 2018-11-06 徐国明 一种高光谱图像空间分辨率增强方法
CN109636769B (zh) * 2018-12-18 2022-07-05 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN109741407A (zh) * 2019-01-09 2019-05-10 北京理工大学 一种基于卷积神经网络的光谱成像系统的高质量重构方法
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952317A (zh) * 2017-03-23 2017-07-14 西安电子科技大学 基于结构稀疏的高光谱图像重建方法
CN109447898A (zh) * 2018-09-19 2019-03-08 北京理工大学 一种基于压缩感知的高光谱超分辨计算成像系统

Also Published As

Publication number Publication date
CN112927149A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
KR101991763B1 (ko) 조밀 탐색 방법 및 화상 처리 장치
CN109961446B (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN108961180B (zh) 红外图像增强方法及系统
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
US9892114B2 (en) Methods and systems for efficient automated symbol recognition
CN109859143B (zh) 高光谱图像全色锐化方法、装置及电子设备
CN111882565B (zh) 一种图像二值化方法、装置、设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN114443880A (zh) 一种装配式建筑的大样图审图方法及审图系统
CN112907495B (zh) 高光谱图像的空间分辨率增强方法、装置及电子设备
CN108268868B (zh) 身份证图像的倾斜值获取方法及装置、终端、存储介质
US9734550B1 (en) Methods and apparatus for efficiently determining run lengths and identifying patterns
CN112927149B (zh) 高光谱图像的空间分辨率增强方法、装置及电子设备
CN112215304A (zh) 一种用于地理影像拼接的灰度影像匹配方法及装置
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
JP2014522045A (ja) 特徴抽出のための技法
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN113139617A (zh) 一种输电线路自主定位方法、装置及终端设备
CN114078245A (zh) 一种图像处理方法及图像处理装置
CN110689513A (zh) 彩色图像融合方法、装置和终端设备
CN111179226A (zh) 视野图的识别方法、装置及计算机存储介质
US20240203091A1 (en) External parameter determination method and image processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant