CN114913101B - 多光谱光场重建方法、装置、电子设备及存储介质 - Google Patents

多光谱光场重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114913101B
CN114913101B CN202210397582.6A CN202210397582A CN114913101B CN 114913101 B CN114913101 B CN 114913101B CN 202210397582 A CN202210397582 A CN 202210397582A CN 114913101 B CN114913101 B CN 114913101B
Authority
CN
China
Prior art keywords
light field
image
field image
multispectral
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210397582.6A
Other languages
English (en)
Other versions
CN114913101A (zh
Inventor
李晖
李甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN202210397582.6A priority Critical patent/CN114913101B/zh
Publication of CN114913101A publication Critical patent/CN114913101A/zh
Application granted granted Critical
Publication of CN114913101B publication Critical patent/CN114913101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种多光谱光场重建方法、装置、电子设备及存储介质，属于计算摄像学技术领域。该方法包括：获取光场图像；对光场图像进行特征提取，得到第一特征图像；基于自注意力机制，根据第一特征图像得到注意力图像；将第一特征图像和注意力图像进行融合，得到第二特征图像；根据第二特征图像，得到多光谱光场图像。本发明将自注意力机制引入多光谱光场重建中，以提取重建过程中得到的中间特征之间的相关性，从而能够利用中间特征之间的相关性，提高针对光场图像的重建效果。

Description

多光谱光场重建方法、装置、电子设备及存储介质
技术领域
本发明涉及计算摄像学技术领域，尤其涉及到多光谱光场重建方法、装置、电子设备及存储介质。
背景技术
近年来，随着计算机数字处理能力的提升和信息理论技术的发展，计算成像已逐渐成为突破光学成像中观测维度限制的关键技术。计算成像是将图像数据采集和图像处理集成一体的方法，通过将硬件采集装置和图像处理算法进行结合，突破了传统成像维度和传感器的局限性，使得成像系统能同时获取多维度的信息。而多光谱成像是一种能够同时获取光谱特征和空间图像信息的成像方法，是当前光电成像系统发展的重要方向。
随着快照式压缩光谱感知技术的发展，出现了使用深度学习快速实现光谱重建的趋势。尤其是基于卷积神经网络的快照式压缩光谱成像重构方法，在多光谱重建方法上得到了广泛使用。
但是，大多数基于卷积神经网络的重建算法致力于设计更复杂或者更深的网络结构，以此获得更高级的特征表示，而忽略了提取中间特征之间的相关性。
发明内容
为了解决现有的重建算法忽略了提取中间特征之间的相关性的缺陷，本发明提供了一种多光谱光场重建方法、装置、电子设备及存储介质。
第一方面，为了解决上述技术问题，本发明提供了一种多光谱光场重建方法，包括：
获取光场图像；
对光场图像进行特征提取，得到第一特征图像；
基于自注意力机制，根据第一特征图像得到注意力图像；
将第一特征图像和注意力图像进行融合，得到第二特征图像；
根据第二特征图像，得到多光谱光场图像。
本发明的有益效果是：将自注意力机制引入多光谱光场重建中，以提取重建过程中得到的中间特征之间的相关性，从而能够利用中间特征之间的相关性，提高对光场图像的重建效果。
进一步，第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；
其中，多光谱光场重建网络模型是基于以下方式训练得到的：
获取训练数据，训练数据包括光场图像样本和光场图像样本对应的真实多光谱图像，其中，每个光场图像样本对应多个光场图像视图矩阵；
对于每个光场图像样本，将光场图像样本输入至初始的多光谱光场重建网络模型，得到光场图像样本对应的重建多光谱图像；
对于每个光场图像样本，基于光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算真实多光谱图像和重建多光谱图像之间的差异值，其中，互补光场信息用于表征光场图像样本对应的光场图像视图矩阵之间的视差信息；
对于每个光场图像样本，根据光场图像样本对应的差异值和互补光场信息，计算光场图像样本对应的损失值；
根据各个光场图像样本对应的损失值对初始的多光谱光场重建网络模型进行迭代训练，直至各个光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为多光谱光场重建网络模型。
采用上述改进方案的有益效果是：在模型训练过程中加入了互补光场信息进行优化，能够提高模型针对光场图像输出的重建结果的空间分辨率和光谱分辨率，且能够保留原本的光场信息，从而达到同时获取多维度信息的多光谱光场重建效果。
进一步，对于每个光场图像样本，光场图像样本对应的损失值通过以下公式计算得到：
L′(θ)＝L(θ)+ρF1
其中，L′(θ)表示光场图像样本对应的损失值，L(θ)表示光场图像样本对应的差异值，ρ表示正则化系数，F1表示光场图像样本对应的互补光场信息。
采用上述改进方案的有益效果是：通过将互补光场信息作为正则化项F1引入模型训练中的损失函数，以提高训练完成的模型精度。
进一步，对于每个光场图像样本，光场图像样本对应的互补光场信息通过以下公式计算得到：
其中，F1表示的是互补光场信息，N表示光场图像样本对应的光场图像视图矩阵的数量，Di+1、Di分别表示第i+1个、第i个光场图像视图矩阵。
采用上述改进方案的有益效果是：利用采集到的光场图像的子视图之间的视差信息，合理获取用于优化损失函数的互补光场信息。
进一步，基于自注意力机制，根据第一特征图像得到注意力图像，包括：
利用卷积层对第一特征图像进行维数变换，得到第三特征图像；
利用激活函数对第三特征图像进行归一化，得到注意力图像。
采用上述改进方案的有益效果是：基于自注意力机制，能够获取并利用图像特征通道之间的相关性，提高对光场图像的重建效果。
进一步，将第一特征图像和注意力图像进行融合，得到第二特征图像，包括：
计算第一特征图像和注意力图像的乘积，将乘积确定为第二特征图像。
采用上述改进方案的有益效果是：以乘积的方式将特征图像与注意力图像进行融合，算法简单易于实现。
进一步，获取光场图像，包括：
对液晶微透镜阵列加载不同预设数值的电压，得到不同电压对应的采集图像，对不同电压对应的采集图像进行融合处理，得到光场图像。
采用上述改进方案的有益效果是：利用液晶微透镜阵列的电控变焦特性，快速获取光场图像。
第二方面，本发明提供了一种多光谱光场重建装置，包括：
获取模块，用于获取光场图像；
第一处理模块，用于对光场图像进行特征提取，得到第一特征图像；
第二处理模块，用于基于自注意力机制，根据第一特征图像得到注意力图像；
第三处理模块，用于将第一特征图像和注意力图像进行融合，得到第二特征图像；
重建模块，用于根据第二特征图像，得到多光谱光场图像。
第三方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行如第一方面所述的多光谱光场重建方法的全部或部分步骤。
第四方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如第一方面所述的多光谱光场重建方法的全部或部分步骤。
附图说明
图1为本发明实施例提供的一种多光谱光场重建方法的流程示意图；
图2为本发明实施例提供的一种多光谱光场重建装置的结构示意图；
图3为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
以下结合附图描述本发明实施例的一种多光谱光场重建方法。
参照图1所示，本发明提供了一种多光谱光场重建方法，包括如下步骤S1至步骤S5。
在步骤S1中，获取光场图像。
其中，光场图像为具有视差的多个图像阵列，该光场图像可以是二维光场图像。
可选的，在一个实施例中，对液晶微透镜阵列加载不同预设数值的电压，得到不同电压对应的采集图像，对不同电压对应的采集图像进行融合处理，得到光场图像。
示例性地，将待测物体、主透镜、液晶微透镜阵列以及CCD传感器依次放置在同一光轴上，给液晶微透镜阵列加载不同预设数值的电压，如分别调节电压为0Vrms、4Vrms、6Vrms和10Vrms，在CCD传感器处对应获得0Vrms、4Vrms、6Vrms和10Vrms电压下的采集图像，再对各采集图像采用加权平均的图像融合算法，得到二维光场图像。
在步骤S2中，对光场图像进行特征提取，得到第一特征图像。
作为一种可能的实施方式，采用编码器对光场图像进行特征提取，得到第一特征图像。
其中，设置编码器包含4个卷积块和池化层，卷积块包含两次卷积，卷积块均采用3*3的卷积核操作，卷积步长为1，填充值为0。
示例性地，设置编码器为输入->池化层->卷积层->卷积层->ReLU->池化层->卷积层->卷积层->ReLU->池化层->卷积层->卷积层->ReLU->池化层->卷积层->卷积层->ReLU的网络结构构成，将池化层设置在卷积层之前，且将池化单元的规格设置为2*2，步长设置为2，对输入的光场图像首先进行最大池化，将池化后得到的特征图进行卷积操作，每个卷积操作后，都使用ReLU函数进行激活，从而对输入的光场图像提取多光谱图像与对应二维光场图像之间的相关映射信息，得到包含该相关映射信息的第一特征图像。
在步骤S3中，基于自注意力机制，根据第一特征图像得到注意力图像。
可以理解的是，利用自注意力机制能够提取重建过程中得到的中间特征之间的相关性，即提取图像特征通道之间的相关性，进而为对光谱图像数据的空间相关性的学习提供实现基础。
可选的，在一个实施例中，基于自注意力机制，根据第一特征图像得到注意力图像，包括：
利用卷积层对第一特征图像进行维数变换，得到第三特征图像；
利用激活函数对第三特征图像进行归一化，得到注意力图像。
示例性地，假设第一特征图像的大小为L*W*H，设置卷积层Conv1*1*1对该第一特征图像进行维数变换，以得到大小为1*W*H的第三特征图像，并使用Softmax激活函数，将获得的第三特征图像根据预设权重进行归一化，从而生成注意力图像。
在步骤S4中，将第一特征图像和注意力图像进行融合，得到第二特征图像。
可选的，在一个实施例中，计算第一特征图像和注意力图像的乘积，将乘积确定为第二特征图像。
在步骤S5中，根据第二特征图像，得到多光谱光场图像。
作为一种可能的实施方式，利用解码器基于第二特征图像，得到多光谱光场图像。
其中，设置解码器包含4个卷积块和池化层，卷积块包含两次卷积，卷积块均采用3*3的卷积核操作，卷积步长为1，填充值为0。
示例性地，设置解码器为上采样层->卷积层->卷积层->ReLU->上采样层->卷积层->卷积层->ReLU->上采样层->卷积层->卷积层->ReLU->上采样层->卷积层->卷积层->ReLU->输出的网络结构构成，将得到的第二特征图像进行上采样，然后将上采样得到的特征图拼接后输入卷积层，进行卷积操作后使用ReLU函数激活，最终输出对光场图像重建后的多光谱光场图像。
可选的，在一个实施例中，第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；
其中，多光谱光场重建网络模型是基于以下方式训练得到的：
获取训练数据，训练数据包括光场图像样本和光场图像样本对应的真实多光谱图像，其中，每个光场图像样本对应多个光场图像视图矩阵；
对于每个光场图像样本，将光场图像样本输入至初始的多光谱光场重建网络模型，得到光场图像样本对应的重建多光谱图像；
对于每个光场图像样本，基于光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算真实多光谱图像和重建多光谱图像之间的差异值，其中，互补光场信息用于表征光场图像样本对应的光场图像视图矩阵之间的视差信息；
对于每个光场图像样本，根据光场图像样本对应的差异值和互补光场信息，计算光场图像样本对应的损失值；
根据各个光场图像样本对应的损失值对初始的多光谱光场重建网络模型进行迭代训练，直至各个光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为多光谱光场重建网络模型。
在该实施例中，训练数据可以是ICVL数据集，由二维光场图像和对应的真实多光谱图像组成。该训练数据包含了多种场景，其中选取的每个场景都对应具有512*482像素，从400nm到700nm总计31个波段，波段之间的间隔为10nm的训练数据。在实际应用时，需要对液晶微透镜阵列加载的不同电压以采集光场图像样本，因此，对单个光场图像样本可提取出多个电压下的子视图，该子视图可用视图矩阵表示。
可选的，由于数据集的样本较少，可以对所选取数据集进行数据增强，如随机裁剪训练补丁并将其重组，设置重组后的样本的尺寸为64*64*31，并采用旋转、翻转操作扩大数据量并增加数据随机性，以此生成用于模型训练的数据集。
作为一种可能的实施方式，采用基于U-net的编码-解码结构，并在编码器和解码器之间引入自注意力机制模块，以构成多光谱光场重建网络模型，其中，自注意力机制模块包含卷积层、激活函数层和融合层，卷积层用于根据输入的第一特征图像输出第三特征图像，激活函数层用于根据输入的第三特征图像输出注意力图像，融合层用于根据输入的第一特征图像和注意力图像输出第二特征图像。
可选的，对于每个光场图像样本，该光场图像样本对应的损失值通过以下公式计算得到：
L′(θ)＝L(θ)+ρF1
其中，L′(θ)表示光场图像样本对应的损失值，L(θ)表示光场图像样本对应的差异值，ρ表示正则化系数，F1表示光场图像样本对应的互补光场信息。
作为一种可能的实施方式，对于每个光场图像样本，该光场图像样本对应的差异值通过以下公式计算得到：
其中，M表示真实多光谱图像或重建多光谱图像的总像素数，表示真实多光谱图像中的第p个像素值，/>表示重建多光谱图像中的第p个像素值。
可选的，对于每个光场图像样本，该光场图像样本对应的互补光场信息通过以下公式计算得到：
其中，F1表示的是互补光场信息，N表示光场图像样本对应的光场图像视图矩阵的数量，Di+1、Di分别表示第i+1个、第i个光场图像视图矩阵。
可以理解的是，单个光场图像样本对应不同电压下的光场图像视图矩阵，即Di+1-Di表示两个不同电压下的视图矩阵之间的视差信息，从而基于各个电压下的视图矩阵之间的视差信息，构建该光场图像样本对应的互补光场信息，该互补光场信息通过表征视图矩阵之间的视差信息，以反映用于采集图像的液晶微透镜阵列的电控变焦特性。
将多光谱光场重建问题转换为一个最小二乘优化问题求解，将最小二乘优化问题的优化迭代过程利用构建的多光谱光场重建网络模型进行端到端的求解，并将液晶微透镜阵列的电控变焦特性作为约束条件加入到模型的损失函数中，从而提高多光谱光场的重建效果。
示例性地，根据获取的训练数据，对多光谱光场重建网络模型进行训练，包括：初始化网络训练参数，设置epoch(时期，一个时期＝所有训练样本的一个正向传递和一个反向传递)的数量为100，batch size(批尺寸，批尺寸＝一次训练的样本数目)为8，学习率为4至10中的任一数值，如设置学习率为4。
对训练完成的多光谱光场重建网络模型输入光场图像，该光场图像为由液晶微透镜阵列采集后并融合的二维光场图像，其中包含有子视图之间的视差信息，以及包含正常CCD相机采集的RGB三个波段的光谱信息，由多光谱光场重建网络模型对该光场图像进行多光谱光场重建，得到400nm至700nm波段，间隔为10nm的多光谱光场图像。
上述实施例提供的多光谱光场重建方法，将自注意力机制引入多光谱光场重建中，以提取重建过程中得到的中间特征之间的相关性，从而能够利用中间特征之间的相关性，提高针对光场图像的重建效果。
在上述各实施例中，虽然对步骤进行了编号，如S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
如图2所示，本发明实施例提供的一种多光谱光场重建装置10，包括：
获取模块20，用于获取光场图像；
第一处理模块30，用于对光场图像进行特征提取，得到第一特征图像；
第二处理模块40，用于基于自注意力机制，根据第一特征图像得到注意力图像；
第三处理模块50，用于将第一特征图像和注意力图像进行融合，得到第二特征图像；
重建模块60，用于根据第二特征图像，得到多光谱光场图像。
可选的，第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；
多光谱光场重建装置10还包括：
训练模块，用于获取训练数据，训练数据包括光场图像样本和光场图像样本对应的真实多光谱图像，其中，每个光场图像样本对应多个光场图像视图矩阵；对于每个光场图像样本，将光场图像样本输入至初始的多光谱光场重建网络模型，得到光场图像样本对应的重建多光谱图像；对于每个光场图像样本，基于光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算真实多光谱图像和重建多光谱图像之间的差异值，其中，互补光场信息用于表征光场图像样本对应的光场图像视图矩阵之间的视差信息；对于每个光场图像样本，根据光场图像样本对应的差异值和互补光场信息，计算光场图像样本对应的损失值；根据各个光场图像样本对应的损失值对初始的多光谱光场重建网络模型进行迭代训练，直至各个光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为多光谱光场重建网络模型。
可选的，第二处理模块40，具体用于利用卷积层对第一特征图像进行维数变换，得到第三特征图像；利用激活函数对第三特征图像进行归一化，得到注意力图像。
可选的，第三处理模块50，具体用于计算第一特征图像和注意力图像的乘积，将该乘积确定为第二特征图像。
可选的，获取模块20，具体用于对液晶微透镜阵列加载不同预设数值的电压，得到不同电压对应的采集图像，对不同电压对应的采集图像进行融合处理，得到光场图像。
本发明实施例提供的一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行上述任一实施例的多光谱光场重建方法的步骤。
如图3所示，本发明实施例提供的一种电子设备500，包括存储器510、处理器520及存储在存储器510上并在处理器520上运行的程序530，处理器520执行程序530时实现上述任一实施例的多光谱光场重建方法的步骤。
其中，电子设备500可以选用电脑、手机等，相对应地，其程序530为电脑软件或手机App等，且上述关于本发明的一种电子设备500中的各参数和步骤，可参考上文中多光谱光场重建方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种多光谱光场重建方法，其特征在于，包括：
获取光场图像；
对所述光场图像进行特征提取，得到第一特征图像；
基于自注意力机制，根据所述第一特征图像得到注意力图像；
将所述第一特征图像和所述注意力图像进行融合，得到第二特征图像；
根据所述第二特征图像，得到多光谱光场图像；
所述第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；
其中，所述多光谱光场重建网络模型是基于以下方式训练得到的：
获取训练数据，所述训练数据包括光场图像样本和所述光场图像样本对应的真实多光谱图像，其中，每个所述光场图像样本对应多个光场图像视图矩阵；
对于每个所述光场图像样本，将所述光场图像样本输入至初始的多光谱光场重建网络模型，得到所述光场图像样本对应的重建多光谱图像；
对于每个所述光场图像样本，基于所述光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算所述真实多光谱图像和所述重建多光谱图像之间的差异值，其中，所述互补光场信息用于表征所述光场图像样本对应的光场图像视图矩阵之间的视差信息；
对于每个所述光场图像样本，根据所述光场图像样本对应的差异值和互补光场信息，计算所述光场图像样本对应的损失值；
根据各个所述光场图像样本对应的损失值对所述初始的多光谱光场重建网络模型进行迭代训练，直至各个所述光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为所述多光谱光场重建网络模型；
对于每个所述光场图像样本，所述光场图像样本对应的互补光场信息通过以下公式计算得到：
其中，F1表示的是互补光场信息，N表示所述光场图像样本对应的光场图像视图矩阵的数量，Di+1、Di分别表示第i+1个、第i个光场图像视图矩阵。
2.根据权利要求1所述的方法，其特征在于，对于每个所述光场图像样本，所述光场图像样本对应的损失值通过以下公式计算得到：
L′(θ)＝L(θ)+ρF1
其中，L′(θ)表示所述光场图像样本对应的损失值，L(θ)表示所述光场图像样本对应的差异值，ρ表示正则化系数，F1表示所述光场图像样本对应的互补光场信息。
3.根据权利要求1所述的方法，其特征在于，所述基于自注意力机制，根据所述第一特征图像得到注意力图像，包括：
利用卷积层对所述第一特征图像进行维数变换，得到第三特征图像；
利用激活函数对所述第三特征图像进行归一化，得到所述注意力图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一特征图像和所述注意力图像进行融合，得到第二特征图像，包括：
计算所述第一特征图像和所述注意力图像的乘积，将所述乘积确定为所述第二特征图像。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取光场图像，包括：
对液晶微透镜阵列加载不同预设数值的电压，得到不同电压对应的采集图像，对所述不同电压对应的采集图像进行融合处理，得到所述光场图像。
6.一种多光谱光场重建装置，其特征在于，包括：
获取模块，用于获取光场图像；
第一处理模块，用于对所述光场图像进行特征提取，得到第一特征图像；
第二处理模块，用于基于自注意力机制，根据所述第一特征图像得到注意力图像；
第三处理模块，用于将所述第一特征图像和所述注意力图像进行融合，得到第二特征图像；
重建模块，用于根据所述第二特征图像，得到多光谱光场图像；
所述第一特征图像、注意力图像、第二特征图像和多光谱光场图像，是通过训练完成的多光谱光场重建网络模型得到的；
其中，所述多光谱光场重建网络模型是基于以下方式训练得到的：
获取训练数据，所述训练数据包括光场图像样本和所述光场图像样本对应的真实多光谱图像，其中，每个所述光场图像样本对应多个光场图像视图矩阵；
对于每个所述光场图像样本，将所述光场图像样本输入至初始的多光谱光场重建网络模型，得到所述光场图像样本对应的重建多光谱图像；
对于每个所述光场图像样本，基于所述光场图像样本对应的光场图像视图矩阵，得到互补光场信息，并计算所述真实多光谱图像和所述重建多光谱图像之间的差异值，其中，所述互补光场信息用于表征所述光场图像样本对应的光场图像视图矩阵之间的视差信息；
对于每个所述光场图像样本，根据所述光场图像样本对应的差异值和互补光场信息，计算所述光场图像样本对应的损失值；
根据各个所述光场图像样本对应的损失值对所述初始的多光谱光场重建网络模型进行迭代训练，直至各个所述光场图像样本对应的损失值符合训练结束条件时，将训练结束时的初始的多光谱光场重建网络模型确定为所述多光谱光场重建网络模型；
对于每个所述光场图像样本，所述光场图像样本对应的互补光场信息通过以下公式计算得到：
其中，F1表示的是互补光场信息，N表示所述光场图像样本对应的光场图像视图矩阵的数量，Di+1、Di分别表示第i+1个、第i个光场图像视图矩阵。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至5中任一项所述的多光谱光场重建方法的步骤。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任一项所述的多光谱光场重建方法的步骤。
CN202210397582.6A 2022-04-15 2022-04-15 多光谱光场重建方法、装置、电子设备及存储介质 Active CN114913101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397582.6A CN114913101B (zh) 2022-04-15 2022-04-15 多光谱光场重建方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397582.6A CN114913101B (zh) 2022-04-15 2022-04-15 多光谱光场重建方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114913101A CN114913101A (zh) 2022-08-16
CN114913101B true CN114913101B (zh) 2023-08-15

Family

ID=82764394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397582.6A Active CN114913101B (zh) 2022-04-15 2022-04-15 多光谱光场重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114913101B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862819B (zh) * 2023-05-29 2024-04-09 武汉工程大学 基于液晶可调谐滤波器的近红外高光谱成像方法及系统
CN116782041B (zh) * 2023-05-29 2024-01-30 武汉工程大学 一种基于液晶微透镜阵列的图像质量提高方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201766675U (zh) * 2010-07-19 2011-03-16 贾正松 无重影基色立体图像摄取设备
CN110120071A (zh) * 2019-05-15 2019-08-13 南京工程学院 一种面向光场图像的深度估计方法
CA3134744A1 (en) * 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
CN112019719A (zh) * 2020-08-25 2020-12-01 武汉工程大学 基于光学分幅光场相机的高分辨率光场系统和成像方法
CN112116064A (zh) * 2020-08-11 2020-12-22 西安电子科技大学 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN113268787A (zh) * 2021-07-19 2021-08-17 军事科学院系统工程研究院网络信息研究所 基于图形拆解视差补偿的防窥显示方法
CN114092540A (zh) * 2021-10-29 2022-02-25 上海师范大学 基于注意力机制的光场深度估计方法及计算机可读介质
CN114166346A (zh) * 2021-12-03 2022-03-11 武汉工程大学 基于深度学习的多光谱光场成像方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373384B2 (en) * 2016-12-12 2019-08-06 Google Llc Lightfield compression using disparity predicted replacement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201766675U (zh) * 2010-07-19 2011-03-16 贾正松 无重影基色立体图像摄取设备
CA3134744A1 (en) * 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
CN110120071A (zh) * 2019-05-15 2019-08-13 南京工程学院 一种面向光场图像的深度估计方法
CN112116064A (zh) * 2020-08-11 2020-12-22 西安电子科技大学 光谱超分辨自适应加权注意力机制深层网络数据处理方法
CN112019719A (zh) * 2020-08-25 2020-12-01 武汉工程大学 基于光学分幅光场相机的高分辨率光场系统和成像方法
CN112634137A (zh) * 2020-12-28 2021-04-09 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN113268787A (zh) * 2021-07-19 2021-08-17 军事科学院系统工程研究院网络信息研究所 基于图形拆解视差补偿的防窥显示方法
CN114092540A (zh) * 2021-10-29 2022-02-25 上海师范大学 基于注意力机制的光场深度估计方法及计算机可读介质
CN114166346A (zh) * 2021-12-03 2022-03-11 武汉工程大学 基于深度学习的多光谱光场成像方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pengfei Liu et al..Adversarial Networks for Scale Feature-Attention Spectral Image Reconstruction from a Single RGB.《sensors》.2020,第1-17页. *

Also Published As

Publication number Publication date
CN114913101A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114913101B (zh) 多光谱光场重建方法、装置、电子设备及存储介质
Xue et al. Multilayer sparsity-based tensor decomposition for low-rank tensor completion
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
Shi et al. Hscnn+: Advanced cnn-based hyperspectral recovery from rgb images
CN112308200B (zh) 神经网络的搜索方法及装置
EP4109392A1 (en) Image processing method and image processing device
CN110751160B (zh) 图像中物体的检测方法、装置及系统
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
Xiong et al. From pixels to physics: Probabilistic color de-rendering
CN114746895A (zh) 用于图像去噪的噪声重构
Yang et al. Hybrid local and nonlocal 3-D attentive CNN for hyperspectral image super-resolution
EP3247107B1 (en) Method and device for obtaining a hdr image by graph signal processing
CN111652921A (zh) 一种单目深度预测模型的生成方法及单目深度预测方法
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
Sun et al. Tuning IR-cut filter for illumination-aware spectral reconstruction from RGB
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN114120036A (zh) 一种轻量化的遥感图像云检测方法
CN115855839B (zh) 一种基于admm框架的改进空谱融合高光谱计算重构方法
CN115311186B (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN113160104B (zh) 一种基于密集连接网络的图像融合方法
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN115861754A (zh) 一种低照度条件下的红外与可见光图像的融合方法
Al-Falluji et al. Single image super resolution algorithms: A survey and evaluation
WO2023276022A1 (ja) 学習装置、学習方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant