CN116579959B - 用于高光谱图像的融合成像方法及装置 - Google Patents

用于高光谱图像的融合成像方法及装置 Download PDF

Info

Publication number
CN116579959B
CN116579959B CN202310396077.4A CN202310396077A CN116579959B CN 116579959 B CN116579959 B CN 116579959B CN 202310396077 A CN202310396077 A CN 202310396077A CN 116579959 B CN116579959 B CN 116579959B
Authority
CN
China
Prior art keywords
hyperspectral
hyperspectral image
image
reconstructed
imaging method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310396077.4A
Other languages
English (en)
Other versions
CN116579959A (zh
Inventor
于振明
金彦涛
程黎明
狄珈羽
徐坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310396077.4A priority Critical patent/CN116579959B/zh
Publication of CN116579959A publication Critical patent/CN116579959A/zh
Application granted granted Critical
Publication of CN116579959B publication Critical patent/CN116579959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明提供一种用于高光谱图像的融合成像方法及装置，包括：获取全色图像，提取全色图像的高频细节；获取相机采集的测量值和掩膜，生成重建高光谱图像数据，将全色图像的高频细节、重建高光谱图像数据及全色图像进行级联得到级联后的三维数组，并输入至卷积神经网络模型得到三维数组的特征表示；将三维数组的特征表示输入至多尺度多深度网络模型得到多尺度多深度特征表示；将重建高光谱图像数据输入至通道注意力模块得到全局特征对应的权重系数，将权重系数与多尺度多深度特征表示相乘得到高光谱图像的最终特征，将最终特征与重建高光谱图像数据进行叠加得到融合后的高光谱图像。该方法消除了高光谱图像中的伪影，提高了高光谱图像的空间分辨率。

Description

用于高光谱图像的融合成像方法及装置
技术领域
本发明涉及高光谱图像技术领域，尤其涉及一种用于高光谱图像的融合成像方法及装置。
背景技术
高光谱图像(Hyperspectral Images，HS)在同一场景下同时具有数百个狭窄的连续波段，包含丰富的光谱信息，使得高光谱图像在环境监测、矿产勘探、农业以及商业产品中的变化检测等诸多领域具有广泛的应用。由于现有传感器只能在一次拍摄中捕获二维信息，传统的光谱成像系统通常采用多相机或机械扫描的采集方式，具有速度慢、系统复杂度高、成本高的缺点；为了应对这一问题，研究人员开始利用压缩感知理论，开发了多种压缩成像系统。用于光谱成像的典型方法是编码孔径快照光谱成像(Coded Aperture SnapshotSpectral Imaging，CASSI)；CASSI的基本原理是在一个快照中捕获一个压缩测量，并通过压缩感知的重构算法恢复三维高光谱立方体。而在CASSI的基础上，为了进一步的获取高空间性能的CASSI系统，研究人员提出了一种利用反射光路的深度学习紧凑型CASSI系统，称为反射型CASSI(R-CASSI)，在R-CASSI系统中，仅采用一个棱镜实现两次色散。
然而，基于CASSI系统或R-CASSI(反射型)系统在重建高光谱图像过程中不可避免的会引入一些伪影，扩大光谱范围的同时也带来了高光谱图像空间分辨率降低的缺点。基于该缺点，使得基于CASSI系统或R-CASSI系统重建的高光谱图像无法实际应用与要求高空间分辨率的场合。因此，如何消除高光谱图像中的伪影，以及如何提高高光谱图像的空间分辨率是亟待解决的技术问题。
发明内容
有鉴于此，本发明提供了一种用于高光谱图像的融合成像方法及装置，以解决现有技术中存在的一个或多个问题。
根据本发明的一个方面，本发明公开了一种用于高光谱图像的融合成像方法，所述方法包括：
获取全色图像，并提取所述全色图像的高频细节；
获取相机采集的测量值和掩膜，基于所述测量值和掩膜生成重建高光谱图像数据，将所述全色图像的高频细节、重建高光谱图像数据以及所述全色图像进行级联得到级联后的三维数组，将所述级联后的三维数组输入至卷积神经网络模型得到所述三维数组的特征表示；
将所述三维数组的特征表示输入至多尺度多深度网络模型得到多尺度多深度特征表示；
将所述重建高光谱图像数据输入至通道注意力模块得到全局特征对应的权重系数，将所述权重系数与所述多尺度多深度特征表示相乘得到高光谱图像的最终特征，将所述高光谱图像的最终特征与所述重建高光谱图像数据进行叠加得到融合后的高光谱图像。
在本发明的一些实施例中，所述测量值和掩膜为基于反射型R-CASST系统获取到的测量值和掩膜。
在本发明的一些实施例中，基于所述测量值和掩膜生成重建高光谱图像数据，包括：
基于所述测量值和掩膜通过Unet3D模型生成重建高光谱图像数据。
在本发明的一些实施例中，所述通道注意力模块包括池化层、第一1X1卷积层、ReLU激活层、第二1X1卷积层以及Sigmoid激活层。
在本发明的一些实施例中，所述卷积神经网络包括7X7卷积层、5X5卷积层和3X3卷积层。
在本发明的一些实施例中，所述Unet3D模型包括多个3X3X3卷积核的卷积层。
在本发明的一些实施例中，所述方法还包括：
获取训练样本数据，所述训练样本数据包括全色图像样本、测量值样本、掩码样本及预定义的高光谱图像真值；
构建损失函数；
基于所述训练样本数据和损失函数更新各模型的模型参数。
在本发明的一些实施例中，所述损失函数为均方误差损失函数。
根据本发明的另一方面，还公开了一种用于高光谱图像的融合成像系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
根据本发明的再一方面，还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。
上述实施例所公开的用于高光谱图像的融合成像方法及装置，首先提取全色图像的高频细节，然后将提取到的全色图像的高频细节与重建的高光谱图像数据、全色图像本身进行级联，进而级联后的三维数组通过卷积神经网络进行特征提取，并进一步通过多尺度多深度网络模型得到多尺度多深度特征表示；并且该融合成像方法还基于重建高光谱图像的全局特征权重以及多尺度多深度特征表示的乘积确定高光谱图像的最终特征，并最终基于最终特征以及重建高光谱图像进行叠加得到融合后的高光谱图像。该融合成像方法将CASSI或R-CASSI重建的高光谱图像与全色图像进行融合，不仅消除了重建高光谱图像中的伪影，还提高了高光谱图像的空间分辨率。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例的用于高光谱图像的融合成像方法的流程示意图。
图2为本发明一实施例的用于高光谱图像的融合成像系统的架构示意图。
图3为本发明一实施例的图像采集装置的结构示意图。
图4为本发明一实施例的光谱仿真结果对比示意图。
图5为本发明另一实施例的光谱仿真结果对比示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在此，需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含/具有”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
图1为本发明一实施例的用于高光谱图像的融合成像方法的流程示意图，如图1所示，该用于高光谱图像的融合成像方法至少包括步骤S10至S40。
步骤S10：获取全色图像，并提取所述全色图像的高频细节。
在该步骤中，全色图像为光波段0.38至0.76μm范围内的混合图像，即全色图像为灰度图像。其中，可通过多种滤波算子提取全色图像的高频细节；示例性的，提取所述全色图像的高频细节，具体的可包括将全色图像输入至多种滤波算子中以提取到全色图像的高频细节，高频细节如边缘信息等。其中，多种滤波算子具体的包括卷积层，即全色图像经过卷积层进行特征提取，最终输出多个特征图。
另外，为了获取全色图像，则可采用图3所示的图像采集装置进行采集，图3所示的图像采集装置不仅可获取全色图像，还可获取到相机的测量值以及掩膜。示例性的，图像采集装置包括第一相机、第二相机、第一透镜、第二透镜、第三透镜、第四透镜、第五透镜、分束器、棱镜以及反射式编码掩膜；在该图像采集装置中，第一透镜后放置一个分束器，则待测物体经过第一透镜和分束器，分束器输出的其中一束光经过透镜组(第四透镜和第五透镜)被单色相机(第二相机)接收从而采集到全色图像。可以理解的，该实施例中所列举的图像采集装置仅是一种实施方式，在其他实施例中，也可以通过其他结构的图像采集装置获取全色图像。
步骤S20：获取相机采集的测量值和掩膜，基于所述测量值和掩膜生成重建高光谱图像数据，将所述全色图像的高频细节、重建高光谱图像数据以及所述全色图像进行级联得到级联后的三维数组，将所述级联后的三维数组输入至卷积神经网络模型得到所述三维数组的特征表示。
在该步骤中，测量值和掩码也可基于图3所示的图像采集装置进行获取。示例性的，反射式编码掩膜由一系列小像素组成，这些小像素为反射式或透明式的，该装置中，第一透镜作为物镜，分束器设置在物镜的后部，第二透镜位于分束器的后部，棱镜位于第二透镜的后部，第三透镜位于棱镜的后部，而反射式编码掩膜设置在第三透镜的后方。在该图像采集装置中，第二透镜和第三透镜两个中继透镜组成4-f系统，则此时待测物体图像首先经过第一透镜和分束器，分束器分出两条光路；第一路光经过第四透镜和第五透镜组成的透镜组，被第二相机接收，得到空间分辨率较高的全色图像；分束器分出的第二路光依次经过第二透镜、棱镜、第三透镜，棱镜产生色散，则在该光路中，分束器输出的光束通过4-f系统到达反射式编码掩膜，则此时色散的信息被编码，然后反射至棱镜，棱镜产生逆色散，然后经过第二透镜、分束器被第一相机接收，进而可获取到测量值；同理，将待测物体更换为激光，经过相同步骤即可在第一相机上获取编码掩膜。
可以理解的，在生成重建高光谱图像时，不仅可基于R-CASSI系统重建高光谱图像，也可基于CASSI系统重建高光谱图像。其中图3所示的图像采集装置为基于R-CASSI系统采集到的测量值和掩码，在其他实施例中，该采集装置相对于CASSI系统的采集装置进一步的提高了采集装置的结构紧凑性，因而在具体使用时，可基于实际需求选用CASSI系统或R-CASSI系统。
进一步的，基于所述测量值和掩膜生成重建高光谱图像数据，包括：基于所述测量值和掩膜通过Unet3D模型生成重建高光谱图像数据。图2为本发明一实施例的用于高光谱图像的融合成像系统的架构示意图，如图2所示，为了获得融合的高光谱图像，则首先将获取到的测量值和掩码输入至Unet3D模型中，而Unet3D模型的输出作为重建的高光谱图像。参考图2，Unet3D模型包括多个3X3X3卷积核的卷积层，在该实施例中，3X3X3卷积核的卷积层的数量为5，且各卷积层后均设置RELU激活层。在该实施例中具体的选用Unet3D模型生成重建的高光谱图像，是由于Unet中的跳跃连接和残差学习，避免了网络退化的问题的发生，获得了更高的重建质量；而在Unet网络中使用3×3×3卷积核，实现了三维滑动，以同时实现空间一致性和光谱一致性。可以理解的是，在该实施例中，获取到的测量值和掩膜进一步通过Unet3D模型生成重建高光谱图像数据仅是一种较佳的实施方式，在其他实施例中，也可以采用其他方式生成重建的高光谱图像。
进一步的，在获取到重建的高光谱图像、全色图像的高频细节之后，则进一步的将重建的高光谱图像、全色图像的高频细节以及全色图像本身进行级联，从图2中可以看出，重建的高光谱图像、全色图像的高频细节以及全色图像本身级联之后得到一组三维数组，该三维数组进一步的被输送至卷积神经网络模型中以进行特征提取。
示例性的，卷积神经网络模型包括多个不同尺度的卷积层；在一实施例中，卷积神经网络模型包括三层卷积层，如7X7卷积层、5X5卷积层和3X3卷积层。此时重建的高光谱图像、全色图像的高频细节以及全色图像本身进行级联后的阶段输出进一步的通过多尺度的卷积层，采用三种不同大小的卷积核对不同接收野进行特征提取。
步骤S30：将所述三维数组的特征表示输入至多尺度多深度网络模型得到多尺度多深度特征表示。
在上述步骤中，基于卷积神经网络模型获取到了重建的高光谱图像、全色图像的高频细节以及全色图像本身进行级联后的阶段输出对应的特征表示，则在该步骤中，进一步的将得到的该特征表示输入至多尺度多深度网络模型中得到多尺度多深度特征表示。
在多尺度多深度网络模型中，每个浅卷积和深卷积结果将被连接起来，以在每一步中保持这两种类型的关键信息。多尺度多深度网络模型包含多层卷积层，在一实施例中，卷积层的数量为四层，该四层卷积层均为3X3卷积层。可以理解的，多尺度多深度网络模型中的卷积层的数量在该实施例中仅是一种示例，在其他实施例中，多尺度多深度网络模型中的卷积层的数量还可为更多层。
步骤S40：将所述重建高光谱图像数据输入至通道注意力模块得到全局特征对应的权重系数，将所述权重系数与所述多尺度多深度特征表示相乘得到高光谱图像的最终特征，将所述高光谱图像的最终特征与所述重建高光谱图像数据进行叠加得到融合后的高光谱图像。
在该步骤中，低空间分辨率的重建高光谱图像数据经过通道注意力模块获取全局特征对应的权重系数，该权重系数结合多尺度多深度特征表示得到高光谱图像的最终特征。最终，高光谱图像的最终特征结合低空间分辨率的重建高光谱图像得到最终的融合的输出。
在该实施例中，低空间分辨率的重建高光谱图像作为通道注意力模块的输入，通道注意力模块输出一个向量表示全局特征的权重系数。参考图2，通道注意力模块包括池化层、第一1X1卷积层、ReLU激活层、第二1X1卷积层以及Sigmoid激活层，该通道注意力模块采用最大池化层(Max Pool)和一维卷积核输出用于表示权重系数的向量。
在本发明的其他一些实施例中，还对各模型进行预训练。示例性的，该用于高光谱图像的融合成像方法还包括如下步骤：获取训练样本数据，所述训练样本数据包括全色图像样本、测量值样本、掩码样本及预定义的高光谱图像真值；构建损失函数；基于所述训练样本数据和损失函数更新各模型的模型参数。
其中，训练样本数据的数量可为多个，多个样本数据组成样本训练集。即基于样本训练集对本发明的用于高光谱图像的融合成像方法对应的模型进行训练。在训练时，具体的将全色图像样本、测量值样本以及掩码样本输入至融合成像模型中，则首先基于系统模型中的多种滤波算子提取全色图像样本的高频细节；进而基于测量值样本以及掩码样本通过Unet3D模型生成重建高光谱图像数据样本，进一步的将全色图像样本的高频细节、重建高光谱图像数据样本以及全色图像样本进行级联得到级联后的三维数组，级联后的三维数组被输入至卷积神经网络模型得到所述三维数组的特征表示。进一步的，将三维数组的特征表示输入至多尺度多深度网络模型得到多尺度多深度特征表示，并将基于测量值样本以及掩码样本重建的高光谱图像数据样本输入至通道注意力模块得到全局特征对应的权重系数，将权重系数与所述多尺度多深度特征表示相乘得到高光谱图像的最终特征，将高光谱图像的最终特征与所述重建高光谱图像数据样本进行叠加得到全色图像样本、测量值样本以及掩码样本对应的融合后的高光谱图像，该融合后的高光谱图像作为全色图像样本、测量值样本以及掩码样本对应的实际融合图像输出。进一步的，基于构建的损失函数计算全色图像样本、测量值样本以及掩码样本对应的实际融合图像输出与预定义的高光谱图像真值的损失值，并基于该损失值迭代更新各模型的参数。在该实施例中，样本训练集中的样本数据的数量不做具体限定，可根据实际应用场景的需要进行设置。
进一步的，损失函数为均方误差损失函数，即该用于高光谱图像的融合成像方法在训练过程中利用均方误差作为损失函数，通过反向传播算法更新神经网络的权重参数，从而进一步提高融合得到的高光谱图像的质量。
在上述实施例所公开的用于高光谱图像的融合成像方法中，利用卷积神经网络作为编解码骨架，将原始的测量值信息和掩码信息作为卷积神经网络的输入，依次通过卷积神经网络的编码网络、卷积神经网络的解码网络生成重建的高光谱图像，将重建的高光谱图像作为神经网络的阶段输出，再将重建的高光谱图像与灰度图像输入至多尺度多深度网络模块，获得融合图像数据，并作为最终的融合光谱图像。其中，还利用均方误差作为损失函数，通过反向传播算法更新神经网络的权重参数，从而完成高光谱图像重建且与灰度图像的融合任务。
相应的，本发明还提供了一种用于高光谱图像的融合成像系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上任一实施例所述方法的步骤。
通过上述实施例可以发现，该用于高光谱图像的融合成像方法及装置，首先提取全色图像的高频细节，然后将提取到的全色图像的高频细节与重建的高光谱图像数据、全色图像本身进行级联，进而级联后的三维数组通过卷积神经网络进行特征提取，并进一步通过多尺度多深度网络模型得到多尺度多深度特征表示，进而基于重建高光谱图像的权重以及多尺度多深度特征表示确定高光谱图像的最终特征；并且该融合成像方法还基于重建高光谱图像的全局特征权重以及多尺度多深度特征表示的乘积确定高光谱图像的最终特征，并最终基于最终特征以及重建高光谱图像进行叠加得到融合后的高光谱图像。该融合成像方法即装置不仅可采用R-CASSI系统重建的高光谱图像，还可采用CASSI系统重建的高光谱图像，即该融合成像方法和系统将CASSI或R-CASSI重建的高光谱图像与全色图像进行融合，不仅消除了重建高光谱图像中的伪影，还提高了高光谱图像的空间分辨率。
为了更好的体现本申请的用于高光谱图像的融合成像方法及装置的优点，以下将通过一个具体的示例对该融合成像方法的优点进行说明。
图4为本发明一实施例的光谱仿真结果对比示意图，在该仿真过程中，选取的仿真波段为587.9nm波段，通过仿真发现，在该波段内，基于本发明的用于高光谱图像的融合成像方法生成的高光谱图像相较于仅采用CASSI系统重建的高光谱图像更接近真值，且仅采用CASSI系统重建的高光谱图像中伪影比较多；而采用本申请的用于高光谱图像的融合成像方法生成的高光谱图像其伪影比较少，并且本申请融合生成的高光谱图像的图像边缘相对于仅采用CASSI系统重建的高光谱图像的边缘更加锐利。其融合前(采用现有技术的CASSI系统重建的重建高光谱图像)和融合后(采用本发明的用于高光谱图像的融合成像方法生成的高光谱图像)的峰值信噪比、结构相似性参数对比如下表所示，表中十个场景均来自KAIST高光谱图像数据集。每个场景都为一个256×256×27(长和宽为256个像素，27个通道)的MAT(Matlab的数据存储的标准格式)文件。由最后一列平均值可以看出融合之后图像峰值信噪比和结构相似性都有所提升，说明图像质量更高、更接近原始真值，反映了系统重建效果得到了提升。
另外图4中展示了真值、融合全色图像后、融合全色图像前的光谱波段对比曲线，从图4中可以看出，融合后的光谱波段与融合前的光谱波段较接近，偏离性不大，因而融合后的光谱波段不仅确保了基于全色图像和重建高光谱图像融合生成的高光谱图像的光谱准确度，还提高了融合生成的高光谱图像的空间分辨率，从而提高了重建效果。因而基于本申请的用于高光谱图像的融合成像方法生成的高光谱图像可应用于对高光谱图像空间分辨率要求较高的场合。
图5为本发明另一实施例的光谱仿真结果对比示意图，类似的，通过仿真发现，基于本发明的用于高光谱图像的融合成像方法生成的高光谱图像相较于仅采用CASSI系统重建的高光谱图像更接近真值，且仅采用CASSI系统重建的重建高光谱图像中伪影比较多；而采用本发明的用于高光谱图像的融合成像方法生成的高光谱图像其伪影比较少，并且本申请融合生成的高光谱图像的图像边缘相对于仅采用CASSI系统重建的高光谱图像的边缘更加锐利。另外通过仿真发现，对于图像中的字母，仅采用CASSI系统重建的高光谱图像无法清楚展示，而对于采用高光谱图像的融合成像方法生成的高光谱图像，其生成的高光谱图像中的字母可清晰的展示。另外从图5中展示的真值、融合全色图像后、融合全色图像前的光谱波段对比曲线可以看出，融合后的光谱波段与融合前的光谱波段较接近，偏离性不大，因而融合后的光谱波段不仅确保了基于全色图像和重建高光谱图像融合生成的高光谱图像的光谱准确度，还提高了融合生成的高光谱图像的空间分辨率，从而提高了重建效果。
通过上述实施例可以发现，本发明的用于高光谱图像的融合成像方法在生成高光谱图像时，将R-CASSI或CASSI系统重建的高光谱图像与灰度图像进行融合，其相较于传统的高光谱重建技术，不仅增强了高光谱图像的空间分辨率，其利用机器学习中的卷积神经网络还能够更好地实现图像重建，具有速度快、泛化性强、性能稳定、图像重建质量高等优点。
另外，该发明还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一实施例所述方法的步骤。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于高光谱图像的融合成像方法，其特征在于，所述方法包括：
获取全色图像，并提取所述全色图像的高频细节；
获取相机采集的测量值和掩膜，基于所述测量值和掩膜生成重建高光谱图像数据，将所述全色图像的高频细节、重建高光谱图像数据以及所述全色图像进行级联得到级联后的三维数组，将所述级联后的三维数组输入至卷积神经网络模型得到所述三维数组的特征表示；
将所述三维数组的特征表示输入至多尺度多深度网络模型得到多尺度多深度特征表示；
将所述重建高光谱图像数据输入至通道注意力模块得到全局特征对应的权重系数，将所述权重系数与所述多尺度多深度特征表示相乘得到高光谱图像的最终特征，将所述高光谱图像的最终特征与所述重建高光谱图像数据进行叠加得到融合后的高光谱图像；
所述通道注意力模块包括池化层、第一1X1卷积层、ReLU激活层、第二1X1卷积层以及Sigmoid激活层，所述通道注意力模块采用最大池化层和一维卷积核输出用于表示权重系数的向量。
2.根据权利要求1所述的用于高光谱图像的融合成像方法，其特征在于，所述测量值和掩膜为基于反射型R-CASST系统获取到的测量值和掩膜。
3.根据权利要求1所述的用于高光谱图像的融合成像方法，其特征在于，基于所述测量值和掩膜生成重建高光谱图像数据，包括：
基于所述测量值和掩膜通过Unet3D模型生成重建高光谱图像数据。
4.根据权利要求1所述的用于高光谱图像的融合成像方法，其特征在于，所述卷积神经网络模型包括7X7卷积层、5X5卷积层和3X3卷积层。
5.根据权利要求3所述的用于高光谱图像的融合成像方法，其特征在于，所述Unet3D模型包括多个3X3X3卷积核的卷积层。
6.根据权利要求1所述的用于高光谱图像的融合成像方法，其特征在于，所述方法还包括：
获取训练样本数据，所述训练样本数据包括全色图像样本、测量值样本、掩码样本及预定义的高光谱图像真值；
构建损失函数；
基于所述训练样本数据和损失函数更新各模型的模型参数。
7.根据权利要求6所述的用于高光谱图像的融合成像方法，其特征在于，所述损失函数为均方误差损失函数。
8.一种用于高光谱图像的融合成像系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至7中任意一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述方法的步骤。
CN202310396077.4A 2023-04-13 2023-04-13 用于高光谱图像的融合成像方法及装置 Active CN116579959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310396077.4A CN116579959B (zh) 2023-04-13 2023-04-13 用于高光谱图像的融合成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310396077.4A CN116579959B (zh) 2023-04-13 2023-04-13 用于高光谱图像的融合成像方法及装置

Publications (2)

Publication Number Publication Date
CN116579959A CN116579959A (zh) 2023-08-11
CN116579959B true CN116579959B (zh) 2024-04-02

Family

ID=87543621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310396077.4A Active CN116579959B (zh) 2023-04-13 2023-04-13 用于高光谱图像的融合成像方法及装置

Country Status (1)

Country Link
CN (1) CN116579959B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117314813B (zh) * 2023-11-30 2024-02-13 奥谱天成(湖南)信息科技有限公司 高光谱图像波段融合方法及系统、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202008371D0 (en) * 2020-06-03 2020-07-15 King S College London Method and system for joint demosaicking and spectral signature estimation
CN112669248A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN113125010A (zh) * 2021-03-01 2021-07-16 北京邮电大学 一种高光谱成像设备
CN114463449A (zh) * 2022-01-12 2022-05-10 武汉大学 一种基于边缘引导的高光谱图像压缩方法
WO2022123047A1 (en) * 2020-12-11 2022-06-16 Living Optics Limited Optical method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861143B2 (en) * 2017-09-27 2020-12-08 Korea Advanced Institute Of Science And Technology Method and apparatus for reconstructing hyperspectral image using artificial intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB202008371D0 (en) * 2020-06-03 2020-07-15 King S College London Method and system for joint demosaicking and spectral signature estimation
WO2022123047A1 (en) * 2020-12-11 2022-06-16 Living Optics Limited Optical method
CN112669248A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN113125010A (zh) * 2021-03-01 2021-07-16 北京邮电大学 一种高光谱成像设备
CN114463449A (zh) * 2022-01-12 2022-05-10 武汉大学 一种基于边缘引导的高光谱图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于向量总变差约束局部光谱解混的高光谱图像超分辨;张少磊;付光远;汪洪桥;赵玉清;;光学精密工程(第12期);全文 *

Also Published As

Publication number Publication date
CN116579959A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
Yuan et al. Snapshot compressive imaging: Theory, algorithms, and applications
Li et al. Underwater scene prior inspired deep underwater image and video enhancement
Kulkarni et al. Reconnet: Non-iterative reconstruction of images from compressively sensed measurements
Vivone et al. Pansharpening based on deconvolution for multiband filter estimation
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
CN111062880A (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN111047681B (zh) 基于深度学习的单像素三维端到端重建方法及装置
CN114746895A (zh) 用于图像去噪的噪声重构
Indhumadhi et al. Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
CN116579959B (zh) 用于高光谱图像的融合成像方法及装置
Zeng et al. Robust reconstruction with deep learning to handle model mismatch in lensless imaging
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN114419392A (zh) 高光谱快照图像恢复方法、装置、设备及介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN113643220A (zh) 一种物理信息驱动的红外图像湍流效应抑制方法及系统
Schirrmacher et al. Sr 2: Super-resolution with structure-aware reconstruction
CN112989593B (zh) 基于双相机的高光谱低秩张量融合计算成像方法
Wang et al. A simple and efficient reconstruction backbone for snapshot compressive imaging
Chen et al. Improved U-Net3+ with spatial–spectral transformer for multispectral image reconstruction
Qi et al. A super-resolution fusion video imaging spectrometer based on single-pixel camera
Huang et al. High-fidelity hyperspectral snapshot of physical world: System architecture, dataset and model
Proppe et al. 3d-2d neural nets for phase retrieval in noisy interferometric imaging
Patel et al. DepthFuseNet: an approach for fusion of thermal and visible images using a convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant