CN112801881B - 一种高分辨率高光谱计算成像方法、系统及介质 - Google Patents

一种高分辨率高光谱计算成像方法、系统及介质 Download PDF

Info

Publication number
CN112801881B
CN112801881B CN202110395614.4A CN202110395614A CN112801881B CN 112801881 B CN112801881 B CN 112801881B CN 202110395614 A CN202110395614 A CN 202110395614A CN 112801881 B CN112801881 B CN 112801881B
Authority
CN
China
Prior art keywords
hyperspectral
image
module
hyperspectral image
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110395614.4A
Other languages
English (en)
Other versions
CN112801881A (zh
Inventor
李树涛
佃仁伟
郭安静
康旭东
孙斌
方乐缘
卢婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110395614.4A priority Critical patent/CN112801881B/zh
Publication of CN112801881A publication Critical patent/CN112801881A/zh
Application granted granted Critical
Publication of CN112801881B publication Critical patent/CN112801881B/zh
Priority to PCT/CN2021/101763 priority patent/WO2022217746A1/zh
Priority to US17/871,943 priority patent/US20220366536A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种高分辨率高光谱计算成像方法、系统及介质，本发明方法包括：对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0；将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络，通过迭代求解得到高光谱图像X，该深度卷积神经网络由多个具有相同结构的模块级联构成，每一个模块由高光谱先验学习模块HPL和成像模型引导模块IMG构成，高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征。本发明能够有效实现RGB图像到高分辨率的高光谱图像的重构，具有重构精度高、计算效率高、内存消耗小、泛化能力强的优点。

Description

一种高分辨率高光谱计算成像方法、系统及介质
技术领域
本发明涉及高分辨高光谱成像技术，具体涉及一种高分辨率高光谱计算成像方法、系统及介质。
背景技术
高光谱成像技术能够同时获得几十上百个光谱波段的图像信息，丰富的光谱信息有助于对场景内物质的准确识别，因此高光谱成像技术被广泛地应用于对地观测、军事监测、环境监测、地质勘探、医学检测和人脸识别等多个领域。但是由于光学成像系统的限制，现有光学成像系统难以直接获取高分辨率高光谱图像。同时，光谱成像设备的造价昂贵，极大地限制了高光谱图像的应用。另一方面，现有的成像系统可获得高分辨率的RGB图像且RGB相机成本低。通过RGB图像获得高分辨率高光谱图像是一种经济且有效的途径，该过程通常被称为光谱超分辨率。
目前流行的光谱超分辨率方法可以分为基于模型优化的方法和基于深度卷积神经网络的方法。基于模型优化的方法假设RGB图像可以由高光谱图像下采样得到。该类方法通过最大后验概率估计，将图像成像模型和给定的图像先验信息结合起来估计高光谱图像。而这些预先给定的先验信息往往并不能很好的描述图像的特性，容易造成光谱和空间信息的失真。
深度卷积神经网络能够有效地学习图像的先验信息，基于数据驱动的深度卷积神经网络已被广泛应用于光谱超分辨，该类方法通过RGB图像和相应的高光谱图像对网络进行预训练，从而获得最佳参数。然而该类方法往往忽略了光谱超分辨中的成像模型，这限制了卷积神经网络的性能。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种高分辨率高光谱计算成像方法、系统及介质，本发明能够有效实现RGB图像到高分辨率的高光谱图像的重构，具有重构精度高、计算效率高、内存消耗小、泛化能力强的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种高分辨率高光谱计算成像方法，包括：
1）对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0；
2）将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络，通过迭代求解得到高光谱图像X。
可选地，步骤1）中对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0的函数表达式为：
Figure 510230DEST_PATH_IMAGE001
（1）
上式中，
Figure 503594DEST_PATH_IMAGE002
为光谱响应函数R的广义逆。
可选地，步骤2）中的成像模型引导的深度卷积神经网络由多个具有相同结构的模块构成，且多个模块之间级联连接，每一个模块的输入包括初始高光谱图像X0、上一个模块或者初始高光谱图像X0的上采样结果，且由最后一个模块输出得到高光谱图像X。
可选地，所述模块由高光谱先验学习模块HPL和成像模型引导模块IMG构成，所述高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，所述成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征。
可选地，所述高光谱先验学习模块HPL为3×3的第一卷积层、非线性修正线性单元、通道注意力机制、3×3的第二卷积层以及空间注意力机制依次相连构成的五层结构，所述通道注意力机制包括大小为1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元，且1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元之间依次相连。
可选地，步骤2）中通过迭代求解得到高光谱图像X的步骤包括：
2.1）初始化迭代次数t等于1，初始化成像模型引导的深度卷积神经网络中的参数值和第t轮迭代的惩罚因子μ t 的取值；
2.2）首先通过第t个模块中的高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，然后通过成像模型引导模块IMG基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征，更新第t轮迭代得到的高光谱图像X；
2.3）判断迭代次数t等于预设阈值T是否成立，如果成立则将第t轮迭代得到的高光谱图像X作为最终结果输出；否则，将迭代次数t加1，跳转执行步骤2.2）继续进行迭代。
可选地，高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征是指：引入变量
Figure DEST_PATH_IMAGE003
，并执行式（3）～（4）更新变量
Figure 195606DEST_PATH_IMAGE003
完成学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征；
Figure 932618DEST_PATH_IMAGE004
（2）
Figure 456003DEST_PATH_IMAGE005
（3）
Figure 885847DEST_PATH_IMAGE006
（4）
上式中，G t+1为引入的变量在第t+1轮迭代时的取值，G为引入的变量，λ为权重参数，∅(G)为引入的变量G的正则项，μ t 为第t轮迭代的惩罚因子，μ t+1为第t+1轮迭代的惩罚因子，Xt为第t轮迭代得到的高光谱图像，Xt+1为第t+1轮迭代得到的高光谱图像，Y表示RGB图像，F为光谱响应函数，X表示高光谱图像，γ为惩罚因子更新系数。
可选地，成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征的函数表达式为：
Figure 127473DEST_PATH_IMAGE007
（5）
上式中，Xt+1为根据成像模型来优化学习到的特征得到的结果，F为光谱响应函数，I为单位矩阵，Y为输入的RGB图像，μ t 为第t轮迭代的惩罚因子，G t+1为引入的变量在第t+1轮迭代时的取值。
此外，本发明还提供一种分辨率高光谱计算成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述高分辨率高光谱计算成像方法的步骤，或者所述微处理器与神经网络加速处理器共同被编程或配置以执行所述高分辨率高光谱计算成像方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行所述高分辨率高光谱计算成像方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0，将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络，通过迭代求解得到高光谱图像X，通过成像模型引导的深度卷积神经网络建立了RGB图像Y、高光谱图像X之间的关系并通过迭代求解得到高光谱图像X，本发明能够有效实现RGB图像到高分辨率的高光谱图像的重构，能够有效实现从高空间分辨率的RGB图像直接得到高空间分辨率的高光谱图像，具有重构精度高、计算效率高、内存消耗小、泛化能力强的优点。
2、本发明通过成像模型引导的深度卷积神经网络建立了RGB图像Y、高光谱图像X之间的关系，采用了成像模型来引导深度卷积神经网络的学习过程，显著降低了神经网络的参数量，并且提升了神经网络的学习性能。
3、本发明在对不同类型的高光谱成像时，不需要改变网络的结构和参数，具有很强的普适性和鲁棒性。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中所提出的高光谱先验学习模块原理示意图。
图3为本发明实施方法与四种成像方法在Harvard高光谱图像上的结果对比图。
图4为本发明实施方法与四种成像方法在CAVE高光谱图像上的结果对比图。
图5为本发明实施方法与四种成像方法在CAVE数据集上的客观性能指标对比图。
图6为本发明实施方法与四种成像方法在Harvard数据集的客观性能指标对比图。
具体实施方式
如图1所述，本实施例高分辨率高光谱计算成像方法包括：
1）对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0；
2）将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络，通过迭代求解得到高光谱图像X。
本实施例中，对输入的RGB图像Y采用光谱响应函数的广义逆上采样得到初始高光谱图像X0，对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0的函数表达式为：
Figure 340280DEST_PATH_IMAGE008
（1）
上式中，
Figure 983751DEST_PATH_IMAGE009
为光谱响应函数R的广义逆。
如图1所示，步骤2）中的成像模型引导的深度卷积神经网络由多个具有相同结构的模块构成，且多个模块之间级联连接，每一个模块的输入包括初始高光谱图像X0、上一个模块或者初始高光谱图像X0的上采样结果，且由最后一个模块输出得到高光谱图像X。该深度卷积神经网络具有模型轻量化的优点。其中，模块由高光谱先验学习模块HPL和成像模型引导模块IMG构成，高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征。
高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征。如图2所示，本实施例中的高光谱先验学习模块HPL为3×3的第一卷积层、非线性修正线性单元、通道注意力机制（Channel Attention）、3×3的第二卷积层以及空间注意力机制（Spatial Attention）依次相连构成的五层结构，所述通道注意力机制包括大小为1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元，且1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元之间依次相连。其中，第三层为通道注意力机制（Channel Attention）用来学习高光谱图像的光谱特性；最后一层为空间注意力机制（Spatial Attention），用来学习高光谱图像的空间特性。
前述成像模型引导的深度卷积神经网络即为本实施例中建立的高光谱成像模型，其定量描述了RGB图像和高光谱图像之间的关系，利用最大后验概率理论，把高光谱成像问题分解为交替解决的两个子问题，分别通过设计高光谱先验学习模块和成像模型引导模块来求解这两个子问题，能够有效实现RGB图像到高光谱图像重构，降低了高光谱图像的获取成本。本实施例中，步骤2）中通过迭代求解得到高光谱图像X的步骤包括：
2.1）初始化迭代次数t等于1，初始化成像模型引导的深度卷积神经网络中的参数值和第t轮迭代的惩罚因子μ t 的取值；
2.2）首先通过第t个模块中的高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，然后通过成像模型引导模块IMG基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征，更新第t轮迭代得到的高光谱图像X；
2.3）判断迭代次数t等于预设阈值T是否成立，如果成立则将第t轮迭代得到的高光谱图像X作为最终结果输出；否则，将迭代次数t加1，跳转执行步骤2.2）继续进行迭代。
本实施例中，高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征是指：引入变量G，并执行式（3）～（4）更新变量G完成学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征；
Figure 318917DEST_PATH_IMAGE004
（2）
Figure 47839DEST_PATH_IMAGE005
（3）
Figure 126653DEST_PATH_IMAGE006
（4）
上式中，G t+1为引入的变量在第t+1轮迭代时的取值，G为引入的变量，λ为权重参数，∅(G)为引入的变量G的正则项，μ t 为第t轮迭代的惩罚因子，μ t+1为第t+1轮迭代的惩罚因子，Xt为第t轮迭代得到的高光谱图像，Xt+1为第t+1轮迭代得到的高光谱图像，Y表示RGB图像，F为光谱响应函数，X表示高光谱图像，γ为惩罚因子更新系数。根据式（2）更新变量G时具体是指将式（3）视为从图像先验信息正则化的图像去噪问题，本实施例采用深度卷积神经网络解决该问题，该模块被称作高光谱先验学习模块HPL。高光谱图像包含丰富的光谱和空间信息，因而我们提出通道注意力机制来学习高光谱图像的光谱信息，采用空间注意力机制来学习高光谱图像空间信息。
本实施例中，成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征的函数表达式为：
Figure 60849DEST_PATH_IMAGE007
（5）
上式中，Xt+1为根据成像模型来优化学习到的特征得到的结果，F为光谱响应函数，I为单位矩阵，Y为输入的RGB图像，μ t 为第t轮迭代的惩罚因子，Gt+1为引入的变量在第t+1轮迭代时的取值。根据式（3）更新Xt+1为第t+1轮迭代得到的高光谱图像，具体是指将式（3）视为具有解析解的强凸问题，具有如式（5）所示的解析解。本实施例中，成像模型引导模块IMG采用矩阵乘法执行前述式（5）得到强凸问题的解析解。
本实施例中还包括预先建立式（3）～（4）所示多个子问题求解模型的步骤：
S1）建立高光谱图像X、传统的RGB图像Y之间的线性映射关系：
（6）
上式中，F为光谱响应矩阵。
S2）根据贝叶斯公式和最大后验，将对高光谱图像的估计问题转化为下式的基础模型:
Figure 832496DEST_PATH_IMAGE010
（7）
Figure 783134DEST_PATH_IMAGE011
（8）
Figure 665639DEST_PATH_IMAGE012
（9）
Figure 18123DEST_PATH_IMAGE013
（10）
上式中，P(X|Y)为X在Y发生的条件下发生的概率，P(Y|X)为Y在X发生的条件下发生的概率，P(X)为X的先验概率，σ为噪声的方差，λ为权重参数（大于0），φ(X)为待估计的高光谱图像X的正则项。
S3）引入变量G=X，X为待估计的高光谱图像，建立需要优化的外罚函数L(X,G)；
Figure 898355DEST_PATH_IMAGE014
（11）
上式中，μ为惩罚因子。
S4）将需要优化的外罚函数L(X,G)转换分解，即可得到式（3）～（4）所示多个子问题求解模型。
为了对本实施例方法进行验证，本实施例中利用CAVE公开数据集中波段数为31、空间尺寸为512×512的图像以及Harvard公开数据集中波段为31、空间尺寸为1392×1040的图像进行验证实验。在实验中，把该图像当作高分辨率高光谱图像，与之对应的RGB图像当作输入图像，是通过光谱响应函数下采样得到。在实际过程中，在CAVE数据集中随机选择20个高光谱图像作为训练集，12个高光谱图像作为测试集；在Harvard数据集中，选择35个高光谱图像作为训练集，15个高光谱图像作为测试集。并对比了4种典型的高光谱成像方法，图3为本发明实施方法与四种典型的成像方法在Harvard高光谱图像上的结果对比图，图4为本发明实施方法与四种典型的成像方法在CAVE高光谱图像上的结果对比图。其中融合图像的评价指标有4种，分别是光谱角（SAM）、均方根误差（RMSE）、统一图像质量指标（UIQI）和结构相似度（SSIM）。其中UIQI和SSIM的值越大，图像质量越好，SAM和RMSE的值越大代表高分辨率图像的质量越差。图5所示表格展示了4种典型的融合方法（Arad, HSCNN-R, DFMN, AWAN+）和本实施例提出的方法（SSRNet）在CAVE数据集上成像实验的客观评价指标。图6所示表格展示了4种典型的融合方法（Arad, HSCNN-R, DFMN, AWAN+）和本实施例提出的方法（SSRNet）在Harvard数据集上成像实验的客观评价指标。从图5和图6均可以看出，本实施例方法（SSRNet）的所有客观评价指标都优于其它方法，这是因为本实施例方法（SSRNet采用了图像指导模型单元，更好的优化模型参数。更重要的是利用的深度卷积神经网络能很好的学习图像先验知识，保存图像的空间细节。
综上所述，本实施例方法利用了深度神经卷积网络的强大学习能力与光谱超分辨率的成像模型，能够同时提升成像精度和效率。首先通过Moore-Penrose伪逆法对RGB图像进行上采样，采用密集融合策略将上采样的图像与RGB图像进行叠加作为输入，来指导由于谱带之间相关性高且光谱维度具有低秩特性，因此首先利用通道注意块来获取高光谱图像光谱波段之间的相关性。然后利用光谱图像的空间相似性的先验知识，采用非局部相似性来获取高光谱图像的非局部空间相似性进而重建高光谱图像。上面在本实施例中称为光谱先验学习模块。之后基于建立的光谱成像模型和深度卷积神经网络来优化由光谱先验学习模块学习到的图像特征，这样能够充分利用从图像中学习到的先验信息。整个高光谱图像的估计采用半二次方分裂算法不断迭代，最终获得高分辨率高光谱图像。通过与其它高性能的快速高光谱成像方法相比，本实施例快速高光谱成像方法得出来的高光谱图像具有更好的质量，并且本文方法的内存消耗小，对硬件要求更低。
此外，本实施例还提供一种分辨率高光谱计算成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述高分辨率高光谱计算成像方法的步骤，或者所述微处理器与神经网络加速处理器共同被编程或配置以执行前述高分辨率高光谱计算成像方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行前述高分辨率高光谱计算成像方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种高分辨率高光谱计算成像方法，其特征在于，包括：
1）对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0；
2）将初始高光谱图像X0输入到预先完成训练的成像模型引导的深度卷积神经网络，通过迭代求解得到高光谱图像X；步骤2）中的成像模型引导的深度卷积神经网络由多个具有相同结构的模块构成，且多个模块之间级联连接，每一个模块的输入包括初始高光谱图像X0、上一个模块或者初始高光谱图像X0的上采样结果，且由最后一个模块输出得到高光谱图像X，所述模块由高光谱先验学习模块HPL和成像模型引导模块IMG构成，所述高光谱先验学习模块HPL用于学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，所述成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征；
步骤2）中通过迭代求解得到高光谱图像X的步骤包括：
2.1）初始化迭代次数t等于1，初始化成像模型引导的深度卷积神经网络中的参数值和第t轮迭代的惩罚因子μ t 的取值；
2.2）首先通过第t个模块中的高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征，然后通过成像模型引导模块IMG基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征，更新第t轮迭代得到的高光谱图像X；
2.3）判断迭代次数t等于预设阈值T是否成立，如果成立则将第t轮迭代得到的高光谱图像X作为最终结果输出；否则，将迭代次数t加1，跳转执行步骤2.2）继续进行迭代。
2.根据权利要求1所述的高分辨率高光谱计算成像方法，其特征在于，步骤1）中对输入的RGB图像Y进行光谱上采样得到初始高光谱图像X0的函数表达式为：
Figure 539410DEST_PATH_IMAGE001
（1）
上式中，
Figure 456550DEST_PATH_IMAGE002
为光谱响应函数R的广义逆。
3.根据权利要求1所述的高分辨率高光谱计算成像方法，其特征在于，所述高光谱先验学习模块HPL为3×3的第一卷积层、非线性修正线性单元、通道注意力机制、3×3的第二卷积层以及空间注意力机制依次相连构成的五层结构，所述通道注意力机制包括大小为1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元，且1×1的卷积操作、非线性归一化单元、线性运算操作以及多个修正线性单元之间依次相连。
4.根据权利要求1所述的高分辨率高光谱计算成像方法，其特征在于，高光谱先验学习模块HPL学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征是指：引入变量G，并执行式（3）～（4）更新变量G完成学习上一个模块或者初始高光谱图像X0的上采样结果的先验特征；
Figure 236287DEST_PATH_IMAGE003
（2）
Figure 319912DEST_PATH_IMAGE004
（3）
Figure 134284DEST_PATH_IMAGE005
（4）
上式中，G t+1为引入的变量在第t+1轮迭代时的取值，G为引入的变量，λ为权重参数，∅(G)为引入的变量G的正则项，μ t 为第t轮迭代的惩罚因子，μ t+1为第t+1轮迭代的惩罚因子，Xt为第t轮迭代得到的高光谱图像，Xt+1为第t+1轮迭代得到的高光谱图像，Y表示RGB图像，F为光谱响应函数，X表示高光谱图像，γ为惩罚因子更新系数。
5.根据权利要求4所述的高分辨率高光谱计算成像方法，其特征在于，成像模型引导模块IMG用于基于输入的初始高光谱图像X0、高光谱先验学习模块HPL输出的先验特征，根据成像模型来优化学习到的特征的函数表达式为：
Figure 956747DEST_PATH_IMAGE006
（5）
上式中，Xt+1为根据成像模型来优化学习到的特征得到的结果，F为光谱响应函数，I为单位矩阵，Y为输入的RGB图像，μ t 为第t轮迭代的惩罚因子，G t+1为引入的变量在第t+1轮迭代时的取值。
6.一种分辨率高光谱计算成像系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述高分辨率高光谱计算成像方法的步骤，或者所述微处理器与神经网络加速处理器共同被编程或配置以执行权利要求1～5中任意一项所述高分辨率高光谱计算成像方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述高分辨率高光谱计算成像方法的计算机程序。
CN202110395614.4A 2021-04-13 2021-04-13 一种高分辨率高光谱计算成像方法、系统及介质 Active CN112801881B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110395614.4A CN112801881B (zh) 2021-04-13 2021-04-13 一种高分辨率高光谱计算成像方法、系统及介质
PCT/CN2021/101763 WO2022217746A1 (zh) 2021-04-13 2021-06-23 一种高分辨率高光谱计算成像方法、系统及介质
US17/871,943 US20220366536A1 (en) 2021-04-13 2022-07-24 High-resolution hyperspectral computational imaging method and system and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395614.4A CN112801881B (zh) 2021-04-13 2021-04-13 一种高分辨率高光谱计算成像方法、系统及介质

Publications (2)

Publication Number Publication Date
CN112801881A CN112801881A (zh) 2021-05-14
CN112801881B true CN112801881B (zh) 2021-06-22

Family

ID=75816951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395614.4A Active CN112801881B (zh) 2021-04-13 2021-04-13 一种高分辨率高光谱计算成像方法、系统及介质

Country Status (3)

Country Link
US (1) US20220366536A1 (zh)
CN (1) CN112801881B (zh)
WO (1) WO2022217746A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质
CN114998109B (zh) * 2022-08-03 2022-10-25 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN116188774B (zh) * 2022-12-13 2024-03-22 湖南大学 高光谱图像实例分割方法及建筑实例分割方法
CN115760670B (zh) * 2023-01-06 2023-05-23 之江实验室 基于网络隐式先验的无监督高光谱融合方法及装置
CN116862819B (zh) * 2023-05-29 2024-04-09 武汉工程大学 基于液晶可调谐滤波器的近红外高光谱成像方法及系统
CN116433551B (zh) * 2023-06-13 2023-08-22 湖南大学 基于双光路rgb融合的高分辨率高光谱成像方法及装置
CN116993584A (zh) * 2023-06-21 2023-11-03 西北工业大学 一种面向多域图像的光谱跨域迁移超分重建方法
CN117765402B (zh) * 2024-02-21 2024-05-17 山东科技大学 一种基于注意力机制的高光谱图像匹配检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN110458777A (zh) * 2019-08-05 2019-11-15 湖南大学 一种基于自适应秩校正的高光谱图像去噪方法、系统及介质
CN111160300A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种结合全局先验的深度学习高光谱图像显著性检测算法
CN111579506A (zh) * 2020-04-20 2020-08-25 湖南大学 基于深度学习的多摄像头高光谱成像方法、系统及介质
CN111678599A (zh) * 2020-07-07 2020-09-18 安徽大学 基于深度学习优化s-g滤波的激光光谱降噪方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832094B2 (en) * 2018-04-10 2020-11-10 International Business Machines Corporation Generating hyperspectral image database by machine learning and mapping of color images to hyperspectral domain
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN110322402B (zh) * 2019-04-30 2023-07-25 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN111223046B (zh) * 2019-11-20 2023-04-25 中国科学院遥感与数字地球研究所 一种图像超分辨率重建方法及装置
CN111192193B (zh) * 2019-11-26 2022-02-01 西安电子科技大学 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN112561799A (zh) * 2020-12-21 2021-03-26 江西师范大学 一种红外图像超分辨率重建方法
CN112801881B (zh) * 2021-04-13 2021-06-22 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN110458777A (zh) * 2019-08-05 2019-11-15 湖南大学 一种基于自适应秩校正的高光谱图像去噪方法、系统及介质
CN111160300A (zh) * 2019-12-31 2020-05-15 北京理工大学重庆创新中心 一种结合全局先验的深度学习高光谱图像显著性检测算法
CN111579506A (zh) * 2020-04-20 2020-08-25 湖南大学 基于深度学习的多摄像头高光谱成像方法、系统及介质
CN111678599A (zh) * 2020-07-07 2020-09-18 安徽大学 基于深度学习优化s-g滤波的激光光谱降噪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CONVOLUTIONAL NEURAL NETWORK FOR NATURAL COLOR VISUALIZATION OF HYPERSPECTRAL IMAGES;Puhong Duan 等;《IEEE Xplore》;20191231;第3372-3375页 *
Multichannel Pulse-Coupled Neural Network-Based Hyperspectral Image Visualization;Puhong Duan 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20200430(第4期);第2444-2456页 *
高光谱遥感影像空谱特征提取与分类方法研究;康旭东;《中国博士学位论文全文数据库 信息科技辑》;20150915(第9期);第I140-32页 *

Also Published As

Publication number Publication date
WO2022217746A1 (zh) 2022-10-20
CN112801881A (zh) 2021-05-14
US20220366536A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
CN112801881B (zh) 一种高分辨率高光谱计算成像方法、系统及介质
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN109741256B (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN108876735B (zh) 一种基于深度残差网络的真实图像盲去噪方法
CN109190695B (zh) 一种基于深度卷积神经网络的鱼类图像分类方法
WO2024027095A1 (zh) 基于双rgb图像融合的高光谱成像方法、系统及介质
CN110648292B (zh) 一种基于深度卷积网络的高噪声图像去噪方法
Xia et al. Identifying recurring patterns with deep neural networks for natural image denoising
CN115311187B (zh) 基于内部和外部先验的高光谱融合成像方法、系统及介质
CN113421216B (zh) 一种高光谱融合计算成像方法及系统
CN114240810B (zh) 一种基于渐进式生成网络的人脸素描-照片合成方法
CN105427264A (zh) 一种基于群稀疏系数估计的图像重构方法
CN104408697B (zh) 基于遗传算法和正则先验模型的图像超分辨重建方法
CN117197008A (zh) 一种基于融合校正的遥感图像融合方法和系统
CN115950837A (zh) 基于即插即用先验的快照式光谱成像方法、系统及介质
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN116468645A (zh) 一种对抗性高光谱多光谱遥感融合方法
Altinel et al. Deep structured energy-based image inpainting
EP3664017B1 (en) Method and device for digital image or video data processing
CN112270650B (zh) 基于稀疏自编码器的图像处理方法、系统、介质、设备
US20240020796A1 (en) Noise reconstruction for image denoising
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN114529463A (zh) 一种图像去噪方法及系统
CN111401155A (zh) 基于隐式欧拉跳跃连接的残差神经网络的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant