CN112907495B - 高光谱图像的空间分辨率增强方法、装置及电子设备 - Google Patents

高光谱图像的空间分辨率增强方法、装置及电子设备 Download PDF

Info

Publication number
CN112907495B
CN112907495B CN202110190540.0A CN202110190540A CN112907495B CN 112907495 B CN112907495 B CN 112907495B CN 202110190540 A CN202110190540 A CN 202110190540A CN 112907495 B CN112907495 B CN 112907495B
Authority
CN
China
Prior art keywords
image
target
current
cluster
hyperspectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110190540.0A
Other languages
English (en)
Other versions
CN112907495A (zh
Inventor
廉玉生
曹栩珩
刘金钠
胡永乐
呼香美
王彩艺
何孜孜
陈颖雯
储熠阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Graphic Communication
Original Assignee
Beijing Institute of Graphic Communication
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Graphic Communication filed Critical Beijing Institute of Graphic Communication
Priority to CN202110190540.0A priority Critical patent/CN112907495B/zh
Publication of CN112907495A publication Critical patent/CN112907495A/zh
Application granted granted Critical
Publication of CN112907495B publication Critical patent/CN112907495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种高光谱图像的空间分辨率增强方法、装置及电子设备,获取目标高光谱图像及其对应的第一图像和第二图像;将第一图像和第二图像分别进行预设分块处理,得到多组图像块;基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像。本申请能够提高高光谱图像的空间分辨率。

Description

高光谱图像的空间分辨率增强方法、装置及电子设备
技术领域
本申请涉及软件技术领域,尤其是涉及一种高光谱图像的空间分辨率增强方法、装置及电子设备。
背景技术
光谱成像技术可以同时获取二维空间图像信息和一维光谱信息,但目前的光谱成像技术获取的光谱图像立方体普遍存在无法同时达到高光谱分辨率和高空间图像分辨率的问题。针对上述问题,目前的解决方法为在残差模块预测的基础上,利用卷积神经网络训练进行光谱图像立方体增强。但是在实际应用中,当目前光源环境不被包括于模型训练数据集中时,预测方法就变得不再准确,而且,这种基于深度学习的重构算法对于颜色变化范围较小的图像块的光谱预测精度较低。
发明内容
本申请的目的在于提供一种高光谱图像的空间分辨率增强方法、装置及电子设备,能够提高高光谱图像的空间分辨率。
第一方面,本申请实施例提供一种高光谱图像的空间分辨率增强方法,方法包括:获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为IPT颜色空间图像;将第一图像和第二图像分别进行预设分块处理,得到多组图像块;将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征;基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像。
进一步的,上述获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像的步骤,包括:通过光谱仪在指定光源信息下对目标进行拍摄,得到目标高光谱图像;通过高空间分辨率相机对目标进行拍摄,得到目标高分辨率图像;分别将目标高光谱图像和目标高分辨率图像在指定光源信息下转换至IPT颜色空间,得到目标高光谱图像分别对应的第一图像和第二图像。
进一步的,上述将第一图像和第二图像分别进行预设分块处理,得到多组图像块的步骤,包括:将第一图像和第二图像分别作为当前图像,均执行以下分块步骤:对当前图像进行第一预设次数的横向切割和第二预设次数的纵向切割,得到当前图像对应的多个图像块。
进一步的,上述基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇的步骤,包括:确定第一当前图像块中的多个指定聚类中心;分别将第二当前图像块中的每个点作为当前点,均执行以下步骤:计算当前点与每个指定聚类中心之间的色差距离值;将当前点归入最小色差距离值对应的指定聚类中心的簇中;将多个指定聚类中心中有当前点归入的指定聚类中心,确定为第一当前图像块中的目标聚类中心;针对每个目标聚类中心,将归入该目标聚类中心的当前点的集合,作为该目标聚类中心在第二当前图像块中对应的重构簇。
进一步的,上述计算当前点与每个指定聚类中心之间的色差距离值的步骤,包括:将每个指定聚类中心作为当前聚类中心,均执行以下步骤:根据当前点的IPT坐标值与当前聚类中心的IPT坐标值,计算当前点与当前聚类中心之间的欧式距离值;将欧式距离值作为当前点与当前聚类中心的色差距离值。
进一步的,上述基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征的步骤,包括:计算每个目标聚类中心在目标高光谱图像中的位置信息,根据位置信息抽取每个目标聚类中心对应的光谱特征;或者,对目标高光谱图像进行预设分块处理,得到多个高光谱图像块;查找每个目标聚类中心对应目标高光谱图像块;根据每个目标聚类中心在对应目标高光谱图像块中的位置,抽取每个目标聚类中心对应的光谱特征。
进一步的,上述基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块的步骤,包括:将每个目标聚类中心作为当前目标聚类中心,均执行以下步骤:将当前目标聚类中心对应的光谱特征,赋值于当前目标聚类中心对应的重构簇中所有点,完成对重构簇的图像重构;在第二当前图像块中所有的重构簇均完成图像重构后,得到该组图像块对应的高空间分辨率高光谱图像块。
第二方面,本申请实施例还提供一种高光谱图像的空间分辨率增强装置,装置包括:图像获取模块,用于获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为IPT颜色空间图像;图像分块模块,用于将第一图像和第二图像分别进行预设分块处理,得到多组图像块;图像重构模块,用于将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征;基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;图像拼合模块,用于将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像。
第三方面,本申请实施例还提供一种电子设备,包括处理器和存储器,存储器存储有能够被处理器执行的计算机可执行指令,处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的高光谱图像的空间分辨率增强方法、装置及电子设备中,首先获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;其中,第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为IPT颜色空间图像;将第一图像和第二图像分别进行预设分块处理,得到多组图像块;然后将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;然后利用每个目标聚类中心对应的光谱特征,对每个目标聚类中心对应的重构簇进行簇内赋值,实现对第二当前图像块的图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像,从而实现对目标高光谱图像的空间分辨率的增强。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高光谱图像的空间分辨率增强方法的流程图;
图2为本申请实施例提供的一种高光谱图像的空间分辨率增强的整体流程示意图;
图3为本申请实施例提供的一种高光谱图像的空间分辨率增强效果示意图;
图4为本申请实施例提供的一种真实图像数据与重构图像数据不同波段的差值热力图;
图5为本申请实施例提供的一种高光谱图像的空间分辨率增强装置的结构框图;
图6为本申请实施例提供的另一种高光谱图像的空间分辨率增强装置的结构框图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
光谱成像技术可以同时获取二维空间图像信息和一维光谱信息,被广泛应用于遥感、艺术品典藏分析、物证鉴定、印刷品质量分析检测等领域。但目前的光谱成像技术获取的光谱图像立方体普遍存在无法同时达到高光谱分辨率和高空间图像分辨率的问题。例如:光栅光谱仪的光谱分辨率和空间分辨率就不能兼顾,也就是说在光栅光谱仪的成像面阵较大时,受其谱线弯曲的影响,无法保证高光谱分辨率的精度。
针对上述问题,目前的解决方法为在残差模块预测的基础上,利用卷积神经网络训练进行光谱图像立方体增强:即先将低分辨率高光谱数据进行上采样,然后对上采样的光谱数据使用残差模块预测得到预测后的高分辨率光谱数据,然后将获取的RGB图像与预测的高分辨率光谱数据按第三维度拼接,再经过残差模块进行二次预测,得到细节增强的高分辨率高光谱数据,最后通过卷积神经网络进行输出预测得到最终的高分辨率高光谱图像。
但是在实际应用中,当目前光源环境不被包括于模型训练数据集中时,预测方法就变得不再准确。再者,这种基于深度学习的重构算法对于颜色变化范围较小的图像块的光谱预测精度较低。
基于此,本申请实施例提供一种高光谱图像的空间分辨率增强方法、装置及电子设备,为便于对本实施例进行理解,首先对本申请实施例所公开的一种高光谱图像的空间分辨率增强方法进行详细介绍。
图1为本申请实施例提供的一种高光谱图像的空间分辨率增强方法的流程图,该方法包括以下步骤:
步骤S102,获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为指定光源信息下的IPT颜色空间图像。
现有的光谱仪采集的图像,在光谱分辨率和空间分辨率上不能兼顾,往往在获得高光谱分辨率的情况下,其空间分辨率就比较低,本申请实施例中的目标高光谱图像为通过光谱仪在指定光源信息下对目标进行拍摄得到的,因而其光谱分辨率较高,而空间分辨率较低。为了提高其空间分辨率,首先需要获取目标高光谱图像分别对应的指定光源信息下的高分辨率的IPT颜色空间图像,及低分辨率的IPT颜色空间图像;也就是上述第二图像和第一图像。
步骤S104,将第一图像和第二图像分别进行预设分块处理,得到多组图像块。
对上述图像进行分块的目的是为了避免同色异谱现象,由于整张图像颜色相同,而光谱差异很大的几率较高,分块之后就可以有效的避免该现象的产生。第一图像和第二图像的分块处理方式是相同的,以方便进行色差匹配分析。分块处理后,可以得到多组图像块,每组图像块均包括一一对应的第一图像块和第二图像块。
步骤S106,将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征;基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块。
针对每组图像块,均进行上述聚类色差分析,获取光谱特征,基于光谱特征和重构簇者图像重构,即可得到每组图像块对应的高空间分辨率高光谱图像块。具体的聚类色差分析,获取光谱特征和图像重构过程在后续进行详细阐述。
步骤S108,将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像。
按照分块方式的逆方向,再将多组图像块重构出的高空间分辨率高光谱图像块进行拼合,即可得到目标高光谱图像对应的高空间分辨率的高光谱图。
本申请实施例提供的高光谱图像的空间分辨率增强方法中,首先获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;其中,第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为IPT颜色空间图像;将第一图像和第二图像分别进行预设分块处理,得到多组图像块;然后将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;然后利用每个目标聚类中心对应的光谱特征,对每个目标聚类中心对应的重构簇进行簇内赋值,实现对第二当前图像块的图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像,从而实现对目标高光谱图像的空间分辨率的增强。
下面列举一个详细的实施例,阐述上述各个步骤:
上述步骤S102,获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像的具体实现过程如下:
(1)通过光谱仪在指定光源信息下对目标进行拍摄,得到目标高光谱图像。比如,指定光源信息为:D65光源2°视场;光谱仪采集到的目标高光谱图像维度为:348×325×31。
(2)通过高空间分辨率相机对目标进行拍摄,得到目标高分辨率图像。比如,目标高分辨率图像维度为1392×1300×3。
(3)分别将目标高光谱图像和目标高分辨率图像在指定光源信息下转换至IPT颜色空间,得到目标高光谱图像分别对应的第一图像和第二图像。
将上述目标高光谱图像和目标高分辨率图像在D65光源2°视场的条件下转换到XYZ三维空间中,再将XYZ三维空间图像转换到IPT颜色空间,得到IPT颜色空间的高分辨率图像和低分辨率图像,即上述第二图像和第一图像。转换公式如下:
L′=L0.43,L≥0
L′=-|L|0.43,L<0
M′=M0.43,M≥0
M′=-|M|0.43,M<0
S′=S0.43,L≥0
S′=-|S|0.43,L<0
上述步骤S104,将第一图像和第二图像分别进行预设分块处理,得到多组图像块的步骤通过以下方式实现:
将第一图像和第二图像分别作为当前图像,均执行以下分块步骤:对当前图像进行第一预设次数的横向切割和第二预设次数的纵向切割,得到当前图像对应的多个图像块。
还以上述获取的第一图像348×325×3和第二图像1392×1300×3为例进行说明,可以先将第一图像的数组横向切割为40行,再对40行进行纵向切割,分割成40列,分割为不均等分割,分割间隔取决于图像的长宽和分割的预设次数,分割的图像块维度大致相同,最终每张图像分为40×40块,每个第一图像块维度大致为:8×8×3,同理,对第二图像通过上述方式分块后,最终得到40个图像块,每个第二图像块维度大致为:32×32×3,将相同行相同列上对应的第一图像块和第二图像块作为一组图像块。
进一步,上述步骤S106中,基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇的步骤,具体通过以下方式实现:
(1)确定第一当前图像块中的多个指定聚类中心。
以上述一组图像块为例进行说明,在低分辨率的第一图像块上进行K-Means聚类,设置聚类中心数为64,进行K—Means聚类,得到64个指定聚类中心,如X1,X2…X64
(2)分别将第二当前图像块中的每个点作为当前点,均执行以下步骤:
A.计算当前点与每个指定聚类中心之间的色差距离值。即将每个指定聚类中心作为当前聚类中心,均执行以下步骤:根据当前点的IPT坐标值与当前聚类中心的IPT坐标值,计算当前点与当前聚类中心之间的欧式距离值;将欧式距离值作为当前点与当前聚类中心的色差距离值。
具体实施时,按如下公式计算两点间的色差距离值:
其中,ΔE表示两点间的欧式距离值,即色差距离值;ΔI、ΔP、ΔT分别表示两点坐标差。
比如,当前点为第二当前图像块中的点M(18,26),其中,18、26指的是像素点的位置。分别计算点M与64个指定聚类中心X1,X2…X64之间的色差距离值,得到64个色差距离值,如L1,L2…L64。
B.将当前点归入最小色差距离值对应的指定聚类中心的簇中。
在上述64个色差距离值L1,L2…L64中,L10的值是最小的,为0.0014,而L10对应的指定聚类中心[2.50206643 0.16650316 0.8235126]为K10,因此,将第二当前图像块中的点M归入到指定聚类中心K10的簇中。
C.将多个指定聚类中心中有当前点归入的指定聚类中心,确定为第一当前图像块中的目标聚类中心。
按照上述计算方式,依次计算第二当前图像块中的每个点与每个指定聚类中心的色差距离值,从而可以确定将哪个点归入哪个指定聚类中心中。最终将上述64个指定聚类中心中有当前点归入的指定聚类中心,确定为第一当前图像块中的目标聚类中心,也就是说,如果有个指定聚类中心中并没有匹配到当前点,即将该指定聚类中心去掉,比如,有5个指定聚类中心都没有当前点归入,则确定最终的第一当前图像块中的目标聚类中心为59个。
D.针对每个目标聚类中心,将归入该目标聚类中心的当前点的集合,作为该目标聚类中心在第二当前图像块中对应的重构簇。
针对上述59个目标聚类中心中的每个目标聚类中心,将第二当前图像块中的归入该目标聚类中心的当前点的集合,作为该目标聚类中心在第二当前图像块中对应的重构簇。比如,针对目标聚类中心K1,在第二当前图像块中有5个点与该目标聚类中心K1的色差距离值是最小的,因此,将这5个点作为目标聚类中心K1在第二当前图像块中的重构簇。
上述步骤S106中,基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征的步骤可以通过以下方式实现:
计算每个目标聚类中心在目标高光谱图像中的位置信息,根据位置信息抽取每个目标聚类中心对应的光谱特征;或者,对目标高光谱图像进行预设分块处理,得到多个高光谱图像块;查找每个目标聚类中心对应目标高光谱图像块;根据每个目标聚类中心在对应目标高光谱图像块中的位置,抽取每个目标聚类中心对应的光谱特征。
目标高光谱图像中除了包括二维平面像素信息还包括一维波长信息,因此,确定出每个目标聚类中心在目标高光谱图像中的位置信息,即可提取出对应的光谱特征。
为了方便抽取目标聚类中心对应的光谱特征,本申请实施例中,还可以在一开始对第一图像(低分辨率的IPT颜色空间图像)和第二图像(高分辨率的IPT颜色空间图像)进行分块的同时,也将目标高光谱图像进行预设分块处理,得到多个高光谱图像块,参见图2所示,这里的分块方式和前述的分块方式一样,在此不再赘述,也是分成40个小图像块;然后从这40个小图像块中找到目标聚类中心对应目标高光谱图像块,再根据目标聚类中心在对应目标高光谱图像块中的位置,抽取目标聚类中心对应的光谱特征,这样有利于提高抽取光谱特征的效率及精确度。图2中后续的流程参见后续详细阐述。
进一步的,上述步骤S106中,基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块的步骤,通过以下方式实现:
将每个目标聚类中心作为当前目标聚类中心,均执行以下步骤:将当前目标聚类中心对应的光谱特征,赋值于当前目标聚类中心对应的重构簇中所有点,完成对重构簇的图像重构;在第二当前图像块中所有的重构簇均完成图像重构后,得到该组图像块对应的高空间分辨率高光谱图像块。
在提取出上述59个目标聚类中心分别对应的光谱特征后,针对每个目标聚类中心对应的重构簇,将该目标聚类中心对应的光谱特征,赋值于该目标聚类中心对应的重构簇中所有点,完成对重构簇的图像重构,在完成59个目标聚类中心对其重构簇的赋值后,得到该组图像块对应的高空间分辨率高光谱图像块。如图3所示,高空间分辨率高光谱图像块的RMSE为5.608,左边的图为高分辨率的第二图像块,即HR原图,右边的图为低分辨率的第一图像块,即LR原图,中间的图为聚类色差匹配重构图,即高空间分辨率高光谱图像块。
最后,将1600块依次完成重构并拼合,得到目标高光谱图像对应的高空间分辨率高光谱图像,其RMSE均方根误差为15.83。如图4所示,为真实图像数据与重构图像数据不同波段的差值热力图,该图展示了真实光谱数据与重建光谱数据分别在430nm,540nm,670nm三个波段差值的绝对值,这三个波段对RGB图像的重建有着很大的影响,该热力图的数据证实了使用该方法进行高光谱图像空间超分辨率的可行性。
本申请实施列提供的高光谱图像的空间分辨率增强方法,能够利用高空间分辨率的二维图像和低空间分辨率的高光谱图像,通过聚类色差匹配,重构出高空间分辨率的高光谱图像,实现了高光谱图像的空间分辨率增强。
基于上述方法实施例,本申请实施例还提供一种高光谱图像的空间分辨率增强装置,参见图5所示,该装置包括:
图像获取模块52,用于获取目标高光谱图像、目标高光谱图像分别对应的第一图像和第二图像;第一图像的分辨率低于第二图像的分辨率;第一图像和第二图像均为IPT颜色空间图像;图像分块模块54,用于将第一图像和第二图像分别进行预设分块处理,得到多组图像块;图像重构模块56,用于将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:基于第一当前图像块和第二当前图像块进行聚类色差分析,确定第一当前图像块中的多个目标聚类中心及每个目标聚类中心在第二当前图像块中对应的重构簇;基于目标高光谱图像,获取每个目标聚类中心对应的光谱特征;基于每个目标聚类中心对应的光谱特征及重构簇,对第二当前图像块进行图像重构,得到该组图像块对应的高空间分辨率高光谱图像块;图像拼合模块58,用于将多组图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到目标高光谱图像对应的高空间分辨率的高光谱图像。
进一步的,上述图像获取模块52还用于:通过光谱仪在指定光源信息下对目标进行拍摄,得到目标高光谱图像;通过高空间分辨率相机对目标进行拍摄,得到目标高分辨率图像;分别将目标高光谱图像和目标高分辨率图像在指定光源信息下转换至IPT颜色空间,得到目标高光谱图像分别对应的第一图像和第二图像。
进一步的,上述图像分块模块54还用于:将第一图像和第二图像分别作为当前图像,均执行以下分块步骤:对当前图像进行第一预设次数的横向切割和第二预设次数的纵向切割,得到当前图像对应的多个图像块。
进一步的,参见图6所示,上述图像重构模块56包括:聚类色差匹配模块562,用于:确定第一当前图像块中的多个指定聚类中心;分别将第二当前图像块中的每个点作为当前点,均执行以下步骤:计算当前点与每个指定聚类中心之间的色差距离值;将当前点归入最小色差距离值对应的指定聚类中心的簇中;将多个指定聚类中心中有当前点归入的指定聚类中心,确定为第一当前图像块中的目标聚类中心;针对每个目标聚类中心,将归入该目标聚类中心的当前点的集合,作为该目标聚类中心在第二当前图像块中对应的重构簇。
进一步的,上述聚类色差匹配模块562,还用于:将每个指定聚类中心作为当前聚类中心,均执行以下步骤:根据当前点的IPT坐标值与当前聚类中心的IPT坐标值,计算当前点与当前聚类中心之间的欧式距离值;将欧式距离值作为当前点与当前聚类中心的色差距离值。
进一步的,上述图像重构模块56还包括:光谱特征提取模块564,用于:计算每个目标聚类中心在目标高光谱图像中的位置信息,根据位置信息抽取每个目标聚类中心对应的光谱特征;或者,对目标高光谱图像进行预设分块处理,得到多个高光谱图像块;查找每个目标聚类中心对应目标高光谱图像块;根据每个目标聚类中心在对应目标高光谱图像块中的位置,抽取每个目标聚类中心对应的光谱特征。
进一步的,上述图像重构模块56还包括:光谱赋值模块566用于:将每个目标聚类中心作为当前目标聚类中心,均执行以下步骤:将当前目标聚类中心对应的光谱特征,赋值于当前目标聚类中心对应的重构簇中所有点,完成对重构簇的图像重构;在第二当前图像块中所有的重构簇均完成图像重构后,得到该组图像块对应的高空间分辨率高光谱图像块。
本申请实施例提供的高光谱图像的空间分辨率增强装置,其实现原理及产生的技术效果和前述高光谱图像的空间分辨率增强方法实施例相同,为简要描述,高光谱图像的空间分辨率增强装置的实施例部分未提及之处,可参考前述高光谱图像的空间分辨率增强方法实施例中相应内容。
本申请实施例还提供了一种电子设备,如图7所示,为该电子设备的结构示意图,其中,该电子设备包括处理器71和存储器70,该存储器70存储有能够被该处理器71执行的计算机可执行指令,该处理器71执行该计算机可执行指令以实现上述方法。
在图7示出的实施方式中,该电子设备还包括总线72和通信接口73,其中,处理器71、通信接口73和存储器70通过总线72连接。
其中,存储器70可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线72可以是ISA(IndustryStandard Architecture,工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器71可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器71读取存储器中的信息,结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使处理器实现上述方法,具体实现可参见前述方法实施例,在此不再赘述。
本申请实施例所提供的高光谱图像的空间分辨率增强方法、装置和电子设备的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种高光谱图像的空间分辨率增强方法,其特征在于,所述方法包括:
获取目标高光谱图像、所述目标高光谱图像分别对应的第一图像和第二图像;所述第一图像的分辨率低于所述第二图像的分辨率;所述第一图像和所述第二图像均为指定光源信息下的IPT颜色空间图像;
将所述第一图像和所述第二图像分别进行预设分块处理,得到多组图像块;将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:
基于所述第一当前图像块和所述第二当前图像块进行聚类色差分析,确定所述第一当前图像块中的多个目标聚类中心及每个所述目标聚类中心在所述第二当前图像块中对应的重构簇;基于所述目标高光谱图像,获取每个所述目标聚类中心对应的光谱特征;将每个所述目标聚类中心作为当前目标聚类中心,均执行以下步骤:将所述当前目标聚类中心对应的光谱特征,赋值于所述当前目标聚类中心对应的重构簇中所有点,完成对所述重构簇的图像重构;在所述第二当前图像块中所有的重构簇均完成图像重构后,得到该组图像块对应的高空间分辨率高光谱图像块;
将多组所述图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到所述目标高光谱图像对应的高空间分辨率的高光谱图像。
2.根据权利要求1所述的方法,其特征在于,获取目标高光谱图像、所述目标高光谱图像分别对应的第一图像和第二图像的步骤,包括:
通过光谱仪在指定光源信息下对目标进行拍摄,得到目标高光谱图像;
通过高空间分辨率相机对所述目标进行拍摄,得到目标高分辨率图像;
分别将所述目标高光谱图像和所述目标高分辨率图像在所述指定光源信息下转换至IPT颜色空间,得到所述目标高光谱图像分别对应的第一图像和第二图像。
3.根据权利要求1所述的方法,其特征在于,将所述第一图像和所述第二图像分别进行预设分块处理,得到多组图像块的步骤,包括:
将所述第一图像和所述第二图像分别作为当前图像,均执行以下分块步骤:
对所述当前图像进行第一预设次数的横向切割和第二预设次数的纵向切割,得到所述当前图像对应的多个图像块。
4.根据权利要求1所述的方法,其特征在于,基于所述第一当前图像块和所述第二当前图像块进行聚类色差分析,确定所述第一当前图像块中的多个目标聚类中心及每个所述目标聚类中心在所述第二当前图像块中对应的重构簇的步骤,包括:
确定所述第一当前图像块中的多个指定聚类中心;
分别将所述第二当前图像块中的每个点作为当前点,均执行以下步骤:计算所述当前点与每个所述指定聚类中心之间的色差距离值;将所述当前点归入最小色差距离值对应的指定聚类中心的簇中;
将多个所述指定聚类中心中有当前点归入的指定聚类中心,确定为所述第一当前图像块中的目标聚类中心;
针对每个目标聚类中心,将归入该目标聚类中心的当前点的集合,作为该目标聚类中心在所述第二当前图像块中对应的重构簇。
5.根据权利要求4所述的方法,其特征在于,计算所述当前点与每个所述指定聚类中心之间的色差距离值的步骤,包括:
将每个所述指定聚类中心作为当前聚类中心,均执行以下步骤:
根据所述当前点的IPT坐标值与所述当前聚类中心的IPT坐标值,计算所述当前点与所述当前聚类中心之间的欧式距离值;
将所述欧式距离值作为所述当前点与所述当前聚类中心的色差距离值。
6.根据权利要求1所述的方法,其特征在于,基于所述目标高光谱图像,获取每个所述目标聚类中心对应的光谱特征的步骤,包括:
计算每个所述目标聚类中心在所述目标高光谱图像中的位置信息,根据所述位置信息抽取每个所述目标聚类中心对应的光谱特征;
或者,
对所述目标高光谱图像进行所述预设分块处理,得到多个高光谱图像块;查找每个所述目标聚类中心对应目标高光谱图像块;根据每个所述目标聚类中心在对应目标高光谱图像块中的位置,抽取每个所述目标聚类中心对应的光谱特征。
7.一种高光谱图像的空间分辨率增强装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标高光谱图像、所述目标高光谱图像分别对应的第一图像和第二图像;所述第一图像的分辨率低于所述第二图像的分辨率;所述第一图像和所述第二图像均为IPT颜色空间图像;
图像分块模块,用于将所述第一图像和所述第二图像分别进行预设分块处理,得到多组图像块;
图像重构模块,用于将每组图像块中的第一图像块和第二图像块分别作为第一当前图像块和第二当前图像块,执行以下步骤:基于所述第一当前图像块和所述第二当前图像块进行聚类色差分析,确定所述第一当前图像块中的多个目标聚类中心及每个所述目标聚类中心在所述第二当前图像块中对应的重构簇;基于所述目标高光谱图像,获取每个所述目标聚类中心对应的光谱特征;将每个所述目标聚类中心作为当前目标聚类中心,均执行以下步骤:将所述当前目标聚类中心对应的光谱特征,赋值于所述当前目标聚类中心对应的重构簇中所有点,完成对所述重构簇的图像重构;在所述第二当前图像块中所有的重构簇均完成图像重构后,得到该组图像块对应的高空间分辨率高光谱图像块;
图像拼合模块,用于将多组所述图像块分别对应的高空间分辨率高光谱图像块进行拼合,得到所述目标高光谱图像对应的高空间分辨率的高光谱图像。
8.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1至6任一项所述的方法。
CN202110190540.0A 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备 Active CN112907495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110190540.0A CN112907495B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190540.0A CN112907495B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112907495A CN112907495A (zh) 2021-06-04
CN112907495B true CN112907495B (zh) 2023-08-29

Family

ID=76123918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190540.0A Active CN112907495B (zh) 2021-02-18 2021-02-18 高光谱图像的空间分辨率增强方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112907495B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409193B (zh) * 2021-06-18 2023-07-04 北京印刷学院 高光谱图像的超分辨率重建方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020912A (zh) * 2012-12-18 2013-04-03 武汉大学 一种结合波段聚类和稀疏表达的遥感影像复原方法
CN105374054A (zh) * 2015-11-17 2016-03-02 重庆邮电大学 基于空谱特性的高光谱图像压缩方法
CN108520495A (zh) * 2018-03-15 2018-09-11 西北工业大学 基于聚类流形先验的高光谱图像超分辨重建方法
CN109859143A (zh) * 2019-02-22 2019-06-07 中煤航测遥感集团有限公司 高光谱图像全色锐化方法、装置及电子设备
CN112130169A (zh) * 2020-09-23 2020-12-25 广东工业大学 一种激光雷达数据和高光谱图像的点云级融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580170B2 (en) * 2015-10-19 2020-03-03 National Ict Australia Limited Spectral reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020912A (zh) * 2012-12-18 2013-04-03 武汉大学 一种结合波段聚类和稀疏表达的遥感影像复原方法
CN105374054A (zh) * 2015-11-17 2016-03-02 重庆邮电大学 基于空谱特性的高光谱图像压缩方法
CN108520495A (zh) * 2018-03-15 2018-09-11 西北工业大学 基于聚类流形先验的高光谱图像超分辨重建方法
CN109859143A (zh) * 2019-02-22 2019-06-07 中煤航测遥感集团有限公司 高光谱图像全色锐化方法、装置及电子设备
CN112130169A (zh) * 2020-09-23 2020-12-25 广东工业大学 一种激光雷达数据和高光谱图像的点云级融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分解的高光谱和多光谱图像融合算法研究;朱向东;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;C028-252 *

Also Published As

Publication number Publication date
CN112907495A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN111398176B (zh) 基于像元尺度特征的水体水色异常遥感识别方法和装置
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
DE112011101695T5 (de) System und Verfahren zur Verarbeitung von Bilddaten in Bezug zu einer Konzentration innerhalb des gesamten Bildes
CN109859143B (zh) 高光谱图像全色锐化方法、装置及电子设备
Ebel et al. Fusing multi-modal data for supervised change detection
CN116595208B (zh) 高光谱图像的分类方法、装置及电子设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115331063A (zh) 基于动态超图卷积网络的高光谱图像分类方法及系统
CN112907495B (zh) 高光谱图像的空间分辨率增强方法、装置及电子设备
US20220414827A1 (en) Training apparatus, training method, and medium
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN115330813A (zh) 一种图像处理方法、装置、设备及可读存储介质
CN114443880A (zh) 一种装配式建筑的大样图审图方法及审图系统
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN111199251B (zh) 一种基于加权邻域的多尺度高光谱图像分类方法
Dai et al. MDC-Net: A multi-directional constrained and prior assisted neural network for wood and leaf separation from terrestrial laser scanning
Zhou et al. Rethinking unified spectral-spatial-based hyperspectral image classification under 3d configuration of vision transformer
CN112927149B (zh) 高光谱图像的空间分辨率增强方法、装置及电子设备
Garrett et al. Accuracy of super-resolution for hyperspectral ocean observations
JP5889820B2 (ja) 特徴量抽出装置、特徴量抽出方法、および画像識別装置
CN110689513B (zh) 彩色图像融合方法、装置和终端设备
JP2019021100A (ja) 画像探索装置、商品認識装置および画像探索プログラム
Fu et al. Delving deep into multiscale pedestrian detection via single scale feature maps
CN109145945B (zh) 一种非局部加权联合稀疏表示的高光谱图像分类方法
CN113627292A (zh) 基于融合网络的遥感图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant