CN114998109A - 基于双rgb图像融合的高光谱成像方法、系统及介质 - Google Patents

基于双rgb图像融合的高光谱成像方法、系统及介质 Download PDF

Info

Publication number
CN114998109A
CN114998109A CN202210925152.7A CN202210925152A CN114998109A CN 114998109 A CN114998109 A CN 114998109A CN 202210925152 A CN202210925152 A CN 202210925152A CN 114998109 A CN114998109 A CN 114998109A
Authority
CN
China
Prior art keywords
hyperspectral
image
hyperspectral image
rgb
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210925152.7A
Other languages
English (en)
Other versions
CN114998109B (zh
Inventor
李树涛
单天赐
佃仁伟
刘海波
郭安静
段普宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210925152.7A priority Critical patent/CN114998109B/zh
Publication of CN114998109A publication Critical patent/CN114998109A/zh
Application granted granted Critical
Publication of CN114998109B publication Critical patent/CN114998109B/zh
Priority to PCT/CN2022/143123 priority patent/WO2024027095A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双RGB图像融合的高光谱成像方法、系统及介质，本发明基于双RGB图像融合的高光谱成像方法包括：针对双RGB图像分别通过光谱通道上采样提取浅层特征，在通道维堆叠后再下采样得到高光谱图像H的空谱浅层特征H 0；基于高光谱图像H的空谱浅层特征H 0迭代求解高光谱图像H，且迭代求解为通过由光谱重构模块级联构成的深度卷积神经网络完成的，光谱重构模块由谱段注意力模块SAM和光谱响应曲线修正模块SCM构成。本发明能够将从不同传感器获取的高空间分辨率的RGB图像经过融合得到高空间分辨率的高光谱图像，具有成像精度高、分辨率高、融合成像速度快、成本低的优点。

Description

基于双RGB图像融合的高光谱成像方法、系统及介质
技术领域
本发明涉及高光谱融图像的合成像技术，具体涉及一种基于双RGB图像融合的高光谱成像方法、系统及介质。
背景技术
高光谱图像具有几十上百个光谱波段，从可见光波段到短波红外波段均可以覆盖，光谱信息丰富，在人脸识别、医学诊断、军事检测等方面有着显著作用。目前市面上主要的高光谱成像仪有谱扫式、摆扫式、推扫式三种，由于光学成像硬件设施的限制，扫描速度慢，且难以直接获取高分辨率高光谱图像。另一方面，高光谱图像获取设备造价较为昂贵，很大程度上限制了高光谱图像的应用。现有的成像设备可快速获得高空间分辨率的RGB图像且RGB相机成本低，通过双RGB高光谱融合成像获得高分辨率高光谱图像是一种可行的方法。该技术利用了特征光谱的互补采样，突破了单一成像传感器的限制，显著提升了高光谱图像的应用价值，具有巨大的应用潜力。目前流行的高光谱图像获取主要有两种方法，一种是融合成像方法，一种是RGB图像超分辨方法。融合成像方法主要在低空间分辨率高光谱图像和高空间多光谱图像融合。然而事实上，低空间分辨率高光谱图像同样难以获取，使得该方法的实际应用效果不高。RGB图像超分辨方法是直接从RGB图像获取高光谱图像，但该方法得到的高光谱图像效果并没有融合成像方法好。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于双RGB图像融合的高光谱成像方法、系统及介质，本发明能够将从不同传感器获取的高空间分辨率的RGB图像经过融合得到高空间分辨率的高光谱图像，具有成像精度高、分辨率高、融合成像速度快、成本低的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于双RGB图像融合的高光谱成像方法，包括：
S1，针对来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2分别通过光谱通道上采样提取浅层特征，将浅层特征在通道维堆叠后再下采样去除冗余信息得到高光谱图像H的空谱浅层特征H 0；其中得到高光谱图像H的空谱浅层特征H 0的函数表达式为：
H 0=Conv1×1 (CAT[Conv3×3 R 1, Conv3×3 R 2])，
上式中，Conv1×1表示通过卷积核为1×1的二维卷积进行下采样，Conv3×3表示通过卷积核为3×3的二维卷积进行光谱通道上采样以提取浅层特征，CAT表示通道维堆叠；
S2，基于高光谱图像H的空谱浅层特征H 0迭代求解高光谱图像H，且迭代求解高光谱图像H的函数表达式为：
H k+1=H k -α k S 1 T (S 1 H k -R 1)-β k S 2 T (S 2 H k –R 2)，
上式中，H k+1为第k+1次迭代得到的高光谱图像，H k 为第k次迭代得到的高光谱图像，α k 、β k 均表示第k次迭代更新的惩罚因子，α k 、β k 均为可学习参数，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数。
可选地，步骤S2之前还包括预先确定迭代求解高光谱图像H的函数表达式的步骤：
A1，建立高光谱图像和RGB图像之间的基本映射关系如下式所示：
R=SH+N，
上式中，R表示RGB图像，S表示采集RGB图像R的相机的光谱响应函数，H表示高光谱图像，N表示RGB图像的噪声；
A2，根据高光谱图像和RGB图像之间的基本映射关系，得到高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系：
R 1=S 1 H+N 1，
R 2=S 2 H+N 2，
上式中，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数，N 1为RGB图像R 1的噪声，N 2为RGB图像R 2的噪声；
A3，根据高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系，建立高光谱图像H的基础模型：
Figure 100002_DEST_PATH_IMAGE001
，
上式中，λ为权重值，ϕ(H)为高光谱图像H的正则项；
A4，基于高光谱图像H的基础模型进行梯度下降优化更新，得到所述迭代求解高光谱图像H的函数表达式。
可选地，步骤S2中迭代求解高光谱图像H为通过由光谱重构模块级联构成的深度卷积神经网络完成的，且任意第k级光谱重构模块用于执行步骤S2中的第k次迭代求解。
可选地，所述任意第k级光谱重构模块由谱段注意力模块SAM和光谱响应曲线修正模块SCM相互连接构成，所述谱段注意力模块SAM用于深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者高光谱图像H的空谱浅层特征H 0的空谱特征，所述光谱响应曲线修正模块SCM用于将谱段注意力模块SAM挖掘出来的空谱特征作为输入，执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像。
可选地，所述谱段注意力模块SAM为特征提取单元、通道注意力机制单元、下采样单元依次相连构成的三层网络模块，所述特征提取单元为由卷积并联单元和参数化修正线性单元连接构成，其中卷积并联单元由卷积核大小分别为3×3、1×3、3×1的3个卷积并联构成；所述通道注意力机制单元包括依次相连的1×1卷积层、非线性归一化层、叉乘层、激活层、1×1卷积层、激活层以及点乘层，且叉乘层和点乘层的另一路输入为特征提取单元的输出；所述下采样单元为由一个3×3的卷积层组成，用于进行光谱维度下采样。
可选地，通过深度卷积神经网络迭代求解高光谱图像H包括：
B1，初始化深度卷积神经网络的网络参数，迭代次数k以及惩罚因子α k 、β k ；
B2，通过深度卷积神经网络中第k级光谱重构模块中的谱段注意力模块SAM深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者初始高光谱图像H 0的空谱特征，再通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像；
B3，判断迭代次数k等于预设迭代总次数K是否成立，如果成立则将最终得到的高光谱图像H k+1作为最终得到的高光谱图像H；否则，将迭代次数k加1，跳转执行步骤B2。
可选地，步骤B2中通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像是指将高光谱图像H的基础模型视为具有解析解的强凸问题，利用近端梯度下降算法来逐步求得解析解。
此外，本发明还提供一种基于双RGB图像融合的高光谱成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于双RGB图像融合的高光谱成像方法的步骤。
此外，本发明还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于双RGB图像融合的高光谱成像方法的步骤。
和现有技术相比，本发明主要具有下述优点：本发明基于双RGB图像融合的高光谱成像方法包括：针对双RGB图像分别通过光谱通道上采样提取浅层特征，在通道维堆叠后再下采样得到高光谱图像H的空谱浅层特征H 0；基于高光谱图像H的空谱浅层特征H 0迭代求解高光谱本发明能够将从不同传感器获取的高空间分辨率的RGB图像经过融合得到高空间分辨率的高光谱图像，具有成像精度高、分辨率高、融合成像速度快、成本低的优点。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中深度卷积神经网络的网络结构示意图。
图3为本发明实施例中谱段注意力模块SAM的网络结构示意图。
图4为本发明实施例方法和现有方法的成像结果对比。
具体实施方式
如图1所示，本实施例于双RGB图像融合的高光谱成像方法包括：
S1，针对来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2分别通过光谱通道上采样提取浅层特征，将浅层特征在通道维堆叠后再下采样去除冗余信息得到高光谱图像H的空谱浅层特征H 0；
S2，基于高光谱图像H的空谱浅层特征H 0迭代求解高光谱图像H，且迭代求解高光谱图像H的函数表达式为：
H k+1=H k -α k S 1 T (S 1 H k -R 1)-β k S 2 T (S 2 H k –R 2)，
上式中，H k+1为第k+1次迭代得到的高光谱图像，H k 为第k次迭代得到的高光谱图像，α k 、β k 均表示第k次迭代更新的惩罚因子，α k 、β k 均为可学习参数，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数。
本实施例中，步骤S1中得到高光谱图像H的空谱浅层特征H 0的函数表达式为：
H 0=Conv1×1 (CAT[Conv3×3 R 1, Conv3×3 R 2])，
上式中，Conv1×1表示通过卷积核为1×1的二维卷积进行下采样，Conv3×3表示通过卷积核为3×3的二维卷积进行光谱通道上采样以提取浅层特征，CAT表示通道维堆叠。
本实施例中，步骤S2之前还包括预先确定迭代求解高光谱图像H的函数表达式的步骤：
A1，建立高光谱图像和RGB图像之间的基本映射关系如下式所示：
R=SH+N，
上式中，R表示RGB图像，S表示采集RGB图像R的相机的光谱响应函数，H表示高光谱图像，N表示RGB图像的噪声；
A2，根据高光谱图像和RGB图像之间的基本映射关系，得到高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系：
R 1=S 1 H+N 1，
R 2=S 2 H+N 2，
上式中，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数，N 1为RGB图像R 1的噪声，N 2为RGB图像R 2的噪声；
A3，根据高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系，建立高光谱图像H的基础模型：
Figure 557827DEST_PATH_IMAGE001
，
上式中，λ为权重值，ϕ(H)为高光谱图像H的正则项；
A4，基于高光谱图像H的基础模型进行梯度下降优化更新，得到所述迭代求解高光谱图像H的函数表达式。
如图2所示，本实施例中步骤S2中迭代求解高光谱图像H为通过由光谱重构模块级联构成的深度卷积神经网络完成的，且任意第k级光谱重构模块用于执行步骤S2中的第k次迭代求解。
如图2所示，本实施例中任意第k级光谱重构模块由谱段注意力模块SAM和光谱响应曲线修正模块SCM相互连接构成，所述谱段注意力模块SAM用于深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者高光谱图像H的空谱浅层特征H 0的空谱特征，所述光谱响应曲线修正模块SCM用于将谱段注意力模块SAM挖掘出来的空谱特征作为输入，执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像。通过谱段注意力模块SAM可以更好的学习高光谱图像的空谱特征。
如图3所示，本实施例中谱段注意力模块SAM为特征提取单元、通道注意力机制单元、下采样单元依次相连构成的三层网络模块，所述特征提取单元为由卷积并联单元和参数化修正线性单元连接构成，其中卷积并联单元由卷积核大小分别为3×3、1×3、3×1的3个卷积并联构成；所述通道注意力机制单元包括依次相连的1×1卷积层、非线性归一化层、叉乘层、激活层、1×1卷积层、激活层以及点乘层，且叉乘层和点乘层的另一路输入为特征提取单元的输出；所述下采样单元为由一个3×3的卷积层组成，用于进行光谱维度下采样。通过上述结构的谱段注意力模块SAM，一方面可准确学习高光谱图像的空谱特征，另一方面网络参数少，迁移性更好。
本实施例中的深度卷积神经网络中参数大部分都是通过网络训练得来，因此在不同场景下或不同拍摄设备下等不同类型的双RGB融合高光谱快速成像时，不需要改变网络的结构，仅需改变少许参数，具有很强的普适性和鲁棒性。
本实施例中，通过深度卷积神经网络迭代求解高光谱图像H包括：
B1，初始化深度卷积神经网络的网络参数，迭代次数k以及惩罚因子α k 、β k ；例如本实施例中，迭代次数k的初始值为0，惩罚因子α k 、β k 的初始值为设置0.0005；
B2，通过深度卷积神经网络中第k级光谱重构模块中的谱段注意力模块SAM深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者高光谱图像H的空谱浅层特征H 0的空谱特征，再通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像；
B3，判断迭代次数k等于预设迭代总次数K是否成立，如果成立则将最终得到的高光谱图像H k+1作为最终得到的高光谱图像H；否则，将迭代次数k加1，跳转执行步骤B2。
本实施例中，步骤B2中通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像是指将高光谱图像H的基础模型视为具有解析解的强凸问题，此强凸问题可视为最优化估计问题，通过微分对该高光谱图像H的基础模型求导，得到关于高光谱图像H的迭代求解函数表达式，选用最优化估计算法中的近端梯度下降算法来逐步求得解析解。本实施例基于双RGB图像融合的高光谱成像方法通过建立双RGB与高光谱图像之间的映射关系，将双RGB高光谱融合成像问题转变成最优化估计问题，并利用近端梯度下降算法，将最优化估计问题转化为了利用谱段注意力机制深度挖掘特征问题和光谱响应曲线修正特征问题，这样能够同时提升重构精度和速率，进而有效实现双RGB高光谱快速融合成像，降低了高光谱图像的获取成本。需要说明的是，在得到高光谱图像H的迭代求解函数表达式的基础上，选用最优化估计算法中的近端梯度下降算法来逐步求得解析解为现有方法，可参见Beck A , Teboulle M . A FastIterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems[J].Siam J Imaging Sciences, 2009, 2(1):183-202。本实施例方法中仅仅为对该方法的应用，不涉及对该方法的改进，故其详细实现细节在此不再详述。
为了对本实施例双RGB高光谱融合成像方法进行验证，本实施例中利用CAVE公开的32对数据集进行验证实验，其中CAVE数据集中高光谱图像波段数为31、空间尺寸为512×512。在实验中，把该数据集中的高光谱图像当作高分辨率高光谱图像，利用不同传感器的光谱响应函数，下采样两组RGB作为输入图像。在实际过程中，将CAVE数据集中20对数据作为训练集，2对数据作为验证集，10对数据作为测试集，并对比了4种典型的单RGB高光谱成像方法。其中融合图像的评价指标有4种，分别是光谱角（SAM）、均方根误差（RMSE）、统一图像质量指标（UIQI）和结构相似度（SSIM）。其中UIQI和SSIM的值越大，高分辨率图像质量越好，SAM和RMSE的值越大代表高分辨率图像的质量越差。
图4所示为三种典型的成像方法HSCNN-R,AWAN+,HSRnet和本实施例提出的方法（TRFS）在CAVE数据集高光谱图像成像结果对比，图4中的(A)为HSCNN-R方法恢复出来的高光谱图像的第25波段图，图4中的(a)为HSCNN-R方法的高光谱图像误差结果图。图4中的(B)为AWAN+方法恢复出来的高光谱图像的第25波段图，图4中的(b)为AWAN+方法的高光谱图像误差结果图。图4中的(C)为HSRnet方法恢复出来的高光谱图像的第25波段图，图4中的(c)为HSRnet方法的高光谱图像误差结果图。图4中的(D)为本实施例提出的方法（TRFS）恢复出来的高光谱图像的第25波段图，图4中的(d)为本实施例提出的方法（TRFS）的高光谱图像误差结果图结果。图4中的(E)为作为参考的高光谱图像原图。
表1展示了四种典型的成像方法（Arad, HSCNN-R,AWAN+, HSRnet）和本实施例提出的方法（TRFS）在CAVE数据集上成像实验的客观评价指标，最好的数值结果被标黑。
表1：本实施例方法与四种典型高光谱成像方法在CAVE数据集上的客观性能指标。
方法 SAM RMSE UIQI SSIM
Arad 20.5261 15.2645 0.6287 0.8365
HSCNN-R 11.8252 6.6628 0.7578 0.9472
HSRnet 11.5133 6.3238 0.7742 0.9582
AWAN+ 8.0661 5.8542 0.8703 0.9799
TRFS 5.1191 3.1420 0.9134 0.9891
从表1可以看出，本实施例方法（TRFS）的所有客观评价指标都优于其它方法，这是因为本实施例方法（TRFS）将双RGB高光谱融合成像问题变成了最优化估计问题，借助于光谱响应函数来修正提取的特征，更重要的是采用的谱段注意力机制可以更好的学习高光谱图像的空谱特征，保存图像的空间与光谱细节。
综上所述，本实施例双RGB高光谱融合成像方法利用了深度神经卷积网络的强大学习能力，并辅以最优化估计算法，能够同时提升成像精度和效率。首先分别对RGB图像进行光谱上采样，并在通道维度上堆叠降维，在本实施例中被称为浅层特征提取模块。由于高光谱图像具有丰富的空间和光谱信息，因此设计了谱段注意力模块来提取高光谱图像的空谱特征。之后通过近端梯度下降算法，借助于光谱响应函数来修正提取到的特征，充分利用高光谱内在特性。本实施例基于最优化估计算法从双RGB图像来估计高光谱高分辨率图像，并采用训练好的卷积神经网络来学习高光谱图像的空谱特征，整个高光谱图像的估计采用近端梯度下降算法不断迭代，最终获得高分辨率高光谱图像。本实施例的优势是不需要额外的高光谱数据来进行训练，只需要在更容易获得的RGB图像数据集上进行训练，并且适用于不同类型的高光谱数据，抗噪声干扰能力强，与其它高性能的单RGB高光谱成像方法相比，本实施例双RGB高光谱融合成像方法得出来的高光谱图像具有更好的质量，具有更强的抗噪声干扰能力，且在不同场景下或不同拍摄设备下等不同类型的双RGB融合成像时，不需要改变网络的结构，仅需改变少许参数，具有很强的普适性和鲁棒性。
此外，本实施例还提供一种基于双RGB图像融合的高光谱成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于双RGB图像融合的高光谱成像方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于双RGB图像融合的高光谱成像方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于双RGB图像融合的高光谱成像方法，其特征在于，包括：
S1，针对来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2分别通过光谱通道上采样提取浅层特征，将浅层特征在通道维堆叠后再下采样去除冗余信息得到高光谱图像H的空谱浅层特征H 0；其中得到高光谱图像H的空谱浅层特征H 0的函数表达式为：
H 0=Conv1×1 (CAT[Conv3×3 R 1, Conv3×3 R 2])，
上式中，Conv1×1表示通过卷积核为1×1的二维卷积进行下采样，Conv3×3表示通过卷积核为3×3的二维卷积进行光谱通道上采样以提取浅层特征，CAT表示通道维堆叠；
S2，基于高光谱图像H的空谱浅层特征H 0迭代求解高光谱图像H，且迭代求解高光谱图像H的函数表达式为：
H k+1=H k -α k S 1 T (S 1 H k -R 1)-β k S 2 T (S 2 H k –R 2)，
上式中，H k+1为第k+1次迭代得到的高光谱图像，H k 为第k次迭代得到的高光谱图像，α k 、β k 均表示第k次迭代更新的惩罚因子，α k 、β k 均为可学习参数，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数。
2.根据权利要求1所述的基于双RGB图像融合的高光谱成像方法，其特征在于，步骤S2之前还包括预先确定迭代求解高光谱图像H的函数表达式的步骤：
A1，建立高光谱图像和RGB图像之间的基本映射关系如下式所示：
R=SH+N，
上式中，R表示RGB图像，S表示采集RGB图像R的相机的光谱响应函数，H表示高光谱图像，N表示RGB图像的噪声；
A2，根据高光谱图像和RGB图像之间的基本映射关系，得到高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系：
R 1=S 1 H+N 1，
R 2=S 2 H+N 2，
上式中，S 1为采集RGB图像R 1的相机的光谱响应函数，S 2为采集RGB图像R 2的相机的光谱响应函数，N 1为RGB图像R 1的噪声，N 2为RGB图像R 2的噪声；
A3，根据高光谱图像H和来自不同物理相机的被融合的RGB图像R 1、RGB图像R 2的映射关系，建立高光谱图像H的基础模型：
Figure DEST_PATH_IMAGE001
，
上式中，λ为权重值，ϕ(H)为高光谱图像H的正则项；
A4，基于高光谱图像H的基础模型进行梯度下降优化更新，得到所述迭代求解高光谱图像H的函数表达式。
3.根据权利要求2所述的基于双RGB图像融合的高光谱成像方法，其特征在于，步骤S2中迭代求解高光谱图像H为通过由光谱重构模块级联构成的深度卷积神经网络完成的，且任意第k级光谱重构模块用于执行步骤S2中的第k次迭代求解。
4.根据权利要求3所述的基于双RGB图像融合的高光谱成像方法，其特征在于，所述任意第k级光谱重构模块由谱段注意力模块SAM和光谱响应曲线修正模块SCM相互连接构成，所述谱段注意力模块SAM用于深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者高光谱图像H的空谱浅层特征H 0的空谱特征，所述光谱响应曲线修正模块SCM用于将谱段注意力模块SAM挖掘出来的空谱特征作为输入，执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像。
5.根据权利要求4所述的基于双RGB图像融合的高光谱成像方法，其特征在于，所述谱段注意力模块SAM为特征提取单元、通道注意力机制单元、下采样单元依次相连构成的三层网络模块，所述特征提取单元为由卷积并联单元和参数化修正线性单元连接构成，其中卷积并联单元由卷积核大小分别为3×3、1×3、3×1的3个卷积并联构成；所述通道注意力机制单元包括依次相连的1×1卷积层、非线性归一化层、叉乘层、激活层、1×1卷积层、激活层以及点乘层，且叉乘层和点乘层的另一路输入为特征提取单元的输出；所述下采样单元为由一个3×3的卷积层组成，用于进行光谱维度下采样。
6.根据权利要求4所述的基于双RGB图像融合的高光谱成像方法，其特征在于，通过深度卷积神经网络迭代求解高光谱图像H包括：
B1，初始化深度卷积神经网络的网络参数，迭代次数k以及惩罚因子α k 、β k ；
B2，通过深度卷积神经网络中第k级光谱重构模块中的谱段注意力模块SAM深度挖掘上一个光谱重构模块输出的第k次迭代得到的高光谱图像或者高光谱图像H的空谱浅层特征H 0的空谱特征，再通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像；
B3，判断迭代次数k等于预设迭代总次数K是否成立，如果成立则将最终得到的高光谱图像H k+1作为最终得到的高光谱图像H；否则，将迭代次数k加1，跳转执行步骤B2。
7.根据权利要求6所述的基于双RGB图像融合的高光谱成像方法，其特征在于，步骤B2中通过光谱响应曲线修正模块SCM执行所述迭代求解高光谱图像H的函数表达式以获得输出的第k+1次迭代得到的高光谱图像是指将高光谱图像H的基础模型视为具有解析解的强凸问题，利用近端梯度下降算法来逐步求得解析解。
8.一种基于双RGB图像融合的高光谱成像系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～7中任意一项所述基于双RGB图像融合的高光谱成像方法的步骤。
9.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～7中任意一项所述基于双RGB图像融合的高光谱成像方法的步骤。
CN202210925152.7A 2022-08-03 2022-08-03 基于双rgb图像融合的高光谱成像方法、系统及介质 Active CN114998109B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210925152.7A CN114998109B (zh) 2022-08-03 2022-08-03 基于双rgb图像融合的高光谱成像方法、系统及介质
PCT/CN2022/143123 WO2024027095A1 (zh) 2022-08-03 2022-12-29 基于双rgb图像融合的高光谱成像方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210925152.7A CN114998109B (zh) 2022-08-03 2022-08-03 基于双rgb图像融合的高光谱成像方法、系统及介质

Publications (2)

Publication Number Publication Date
CN114998109A true CN114998109A (zh) 2022-09-02
CN114998109B CN114998109B (zh) 2022-10-25

Family

ID=83021108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210925152.7A Active CN114998109B (zh) 2022-08-03 2022-08-03 基于双rgb图像融合的高光谱成像方法、系统及介质

Country Status (2)

Country Link
CN (1) CN114998109B (zh)
WO (1) WO2024027095A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质
CN116433551A (zh) * 2023-06-13 2023-07-14 湖南大学 基于双光路rgb融合的高分辨率高光谱成像方法及装置
CN117252875A (zh) * 2023-11-17 2023-12-19 山东大学 基于高光谱图像的医疗图像处理方法、系统、介质及设备
CN117314757A (zh) * 2023-11-30 2023-12-29 湖南大学 一种空谱频多域融合的高光谱计算成像方法、系统及介质
WO2024027095A1 (zh) * 2022-08-03 2024-02-08 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809162B (zh) * 2024-02-29 2024-05-07 深圳市润联塑胶模具有限公司 校正透镜成像不均一性、提取透镜参数的方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173029A2 (en) * 2000-07-14 2002-01-16 Matsushita Electric Industrial Co., Ltd. Color image pickup device
WO2018047171A1 (en) * 2016-09-06 2018-03-15 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Recovery of hyperspectral data from image
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
US20200134820A1 (en) * 2018-10-25 2020-04-30 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111579506A (zh) * 2020-04-20 2020-08-25 湖南大学 基于深度学习的多摄像头高光谱成像方法、系统及介质
US20200304835A1 (en) * 2019-03-23 2020-09-24 Uatc, Llc Compression of Images Having Overlapping Fields of View Using Machine-Learned Models
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN112767243A (zh) * 2020-12-24 2021-05-07 深圳大学 一种高光谱图像超分辨率的实现方法及系统
CN112801881A (zh) * 2021-04-13 2021-05-14 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN113793261A (zh) * 2021-08-05 2021-12-14 西安理工大学 一种基于3d注意力机制全通道融合网络的光谱重建方法
EP3992848A1 (en) * 2020-10-30 2022-05-04 Tata Consultancy Services Limited Method and system for learning spectral features of hyperspectral data using dcnn

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933451B2 (en) * 2005-11-23 2011-04-26 Leica Geosystems Ag Feature extraction using pixel-level and object-level analysis
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
CN113327218B (zh) * 2021-06-10 2023-08-25 东华大学 一种基于级联网络的高光谱与全色图像融合方法
CN114266957B (zh) * 2021-11-12 2024-05-07 北京工业大学 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN114998109B (zh) * 2022-08-03 2022-10-25 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1173029A2 (en) * 2000-07-14 2002-01-16 Matsushita Electric Industrial Co., Ltd. Color image pickup device
WO2018047171A1 (en) * 2016-09-06 2018-03-15 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Recovery of hyperspectral data from image
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
US20200134820A1 (en) * 2018-10-25 2020-04-30 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
US20200304835A1 (en) * 2019-03-23 2020-09-24 Uatc, Llc Compression of Images Having Overlapping Fields of View Using Machine-Learned Models
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111579506A (zh) * 2020-04-20 2020-08-25 湖南大学 基于深度学习的多摄像头高光谱成像方法、系统及介质
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
EP3992848A1 (en) * 2020-10-30 2022-05-04 Tata Consultancy Services Limited Method and system for learning spectral features of hyperspectral data using dcnn
CN112767243A (zh) * 2020-12-24 2021-05-07 深圳大学 一种高光谱图像超分辨率的实现方法及系统
CN112801881A (zh) * 2021-04-13 2021-05-14 湖南大学 一种高分辨率高光谱计算成像方法、系统及介质
CN113793261A (zh) * 2021-08-05 2021-12-14 西安理工大学 一种基于3d注意力机制全通道融合网络的光谱重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG ZHANG 等: "Multiscale Spatial-Spectral Interaction Transformer for Pan-Sharpening", 《REMOTE SENSING》 *
李旭青等: "基于可变形全卷积神经网络的冬小麦自动解译研究", 《农业机械学报》 *
陶陈凝: "基于压缩感知的光谱成像系统和重构算法研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024027095A1 (zh) * 2022-08-03 2024-02-08 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质
CN116433551A (zh) * 2023-06-13 2023-07-14 湖南大学 基于双光路rgb融合的高分辨率高光谱成像方法及装置
CN116433551B (zh) * 2023-06-13 2023-08-22 湖南大学 基于双光路rgb融合的高分辨率高光谱成像方法及装置
CN117252875A (zh) * 2023-11-17 2023-12-19 山东大学 基于高光谱图像的医疗图像处理方法、系统、介质及设备
CN117252875B (zh) * 2023-11-17 2024-02-09 山东大学 基于高光谱图像的医疗图像处理方法、系统、介质及设备
CN117314757A (zh) * 2023-11-30 2023-12-29 湖南大学 一种空谱频多域融合的高光谱计算成像方法、系统及介质
CN117314757B (zh) * 2023-11-30 2024-02-09 湖南大学 一种空谱频多域融合的高光谱计算成像方法、系统及介质

Also Published As

Publication number Publication date
WO2024027095A1 (zh) 2024-02-08
CN114998109B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN114998109B (zh) 基于双rgb图像融合的高光谱成像方法、系统及介质
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
CN112801881B (zh) 一种高分辨率高光谱计算成像方法、系统及介质
CN111579506B (zh) 基于深度学习的多摄像头高光谱成像方法、系统及介质
CN112488978A (zh) 基于模糊核估计的多光谱图像融合成像方法及系统
US11455535B2 (en) Systems and methods for sensor-independent illuminant determination
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
CN111696043A (zh) 一种三维fsrcnn的高光谱图像超分辨率重建算法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
Yuan et al. ROBUST PCANet for hyperspectral image change detection
CN110837808A (zh) 一种基于改进的胶囊网络模型的高光谱图像分类方法
Li et al. Spectral-spatial sparse subspace clustering based on three-dimensional edge-preserving filtering for hyperspectral image
CN112634184A (zh) 基于融合性卷积神经网络的rgb图像光谱反射率重建方法
CN110443296B (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
Hughes et al. A semi-supervised approach to SAR-optical image matching
Hinojosa et al. Spectral-spatial classification from multi-sensor compressive measurements using superpixels
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
CN107944474B (zh) 基于局部自适应字典的多尺度协作表达高光谱分类方法
CN106157240A (zh) 基于字典学习的遥感图像超分辨率方法
CN108764097B (zh) 一种基于分段稀疏表示的高光谱遥感图像目标识别方法
CN113902646A (zh) 基于深浅层特征加权融合网络的遥感影像泛锐化方法
CN113705340A (zh) 一种基于雷达遥感数据的深度学习变化检测方法
CN107832790B (zh) 一种基于局部低秩表示的半监督高光谱图像分类方法
CN115082344A (zh) 基于细节注入的双分支网络全色锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant