CN117314757B - 一种空谱频多域融合的高光谱计算成像方法、系统及介质 - Google Patents

一种空谱频多域融合的高光谱计算成像方法、系统及介质 Download PDF

Info

Publication number
CN117314757B
CN117314757B CN202311622750.8A CN202311622750A CN117314757B CN 117314757 B CN117314757 B CN 117314757B CN 202311622750 A CN202311622750 A CN 202311622750A CN 117314757 B CN117314757 B CN 117314757B
Authority
CN
China
Prior art keywords
frequency
domain
hyperspectral
spatial
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311622750.8A
Other languages
English (en)
Other versions
CN117314757A (zh
Inventor
康旭东
段普宏
李树涛
鲁续坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202311622750.8A priority Critical patent/CN117314757B/zh
Publication of CN117314757A publication Critical patent/CN117314757A/zh
Application granted granted Critical
Publication of CN117314757B publication Critical patent/CN117314757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种空谱频多域融合的高光谱计算成像方法、系统及介质，本发明方法包括利用二维的离线离散余弦变换DCT将RGB图像转换到频率域得到频域特征图；从频域特征图中提取频率信息图；利用二维的离线离散余弦逆变换IDCT将频率信息图变换到空间域得到空间域的频率信息图；将空间域的频率信息图融合到RGB图像的空谱域特征中生成高光谱图像。本发明旨在解决现有高光谱计算成像中高光谱图像细节信息差、重构精度低的问题，实现对目标光谱的高保真重构。

Description

一种空谱频多域融合的高光谱计算成像方法、系统及介质
技术领域
本发明涉及高光谱成像技术领域，具体涉及一种空谱频多域融合的高光谱计算成像方法、系统及介质。
背景技术
高光谱图像通常含有几十到上百个连续光谱波段，光谱波段数高，记录了物体丰富的光谱信息。依据不同物体在不同波长对电磁波有着不同的反射率和吸收率，能够实现对物体的精准识别。目前市面上已存在多种光谱成像仪，但成像速度较慢，无法满足实时性要求。此外，高光谱成像设备体积较为庞大，无法随身携带搬运、造价比较昂贵，限制了高光谱图像的应用与发展。如何能够以较小的成本代价获取高空间分辨率的高光谱图像已成为当前高光谱成像领域的研究热点。
高光谱计算成像技术旨在设计一种算法将三波段RGB图像重构出高空间分辨率高光谱图像，具有成本低、成像速度快、空间分辨率高等优点。相比高光谱图像，RGB 图像丢失了很多光谱信息，因此从RGB 图像恢复光谱信息重建高光谱图像是一个逆问题，严重不适定。现有的研究方法大致可以分为三类：基于硬件系统法、基于先验方法、基于深度学习方法。基于硬件系统的光谱成像方法主要是设计一款特定系统来增加从RGB相机中获取更多光谱维度信息，主要包括修改RGB相机系统，增加相机数量或控制成像环境等。基于先验方法通过借助数学关系去建模RGB与高光谱图像之间的映射关系，并基于高光谱的固有属性和统计信息学习特定先验重建光谱信息。上述方法的光谱成像精度受手工先验影响较大，近年来，由于卷积神经网络在计算机视觉领域的杰出表现，基于深度学习方法的光谱成像技术逐渐成为研究的热点，该方法通常利用大量可用的RGB与高光谱图像对去表征两者隐藏的映射关系，实现高空间分辨率高光谱图像精准重构，因此也被称为基于数据驱动方法。此外，一些学者研究了物理模型和深度学习相结合的光谱超分技术，将超分问题转化为目标优化问题，运用最优化理论知识进行问题求解，让模型拥有物理可解释性。
总而言之，现有高光谱计算成像方法仅仅关注了空间或光谱域中的信息，未利用频域中的信息。同时，高光谱图像空谱结构较为复杂，单一维度信息难以准确表示。因此，如何利用频域中的信息来实现高光谱计算成像，已成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种空谱频多域融合的高光谱计算成像方法、系统及介质，本发明旨在解决现有高光谱计算成像中高光谱图像细节信息差、重构精度低的问题，实现对目标光谱的高保真重构。
为了解决上述技术问题，本发明采用的技术方案为：
一种空谱频多域融合的高光谱计算成像方法，包括：
S1，将RGB图像转换到频率域得到频域特征图/>；
S2，从频域特征图中提取频率信息图/>；
S3，将频率信息图变换到空间域得到空间域的频率信息图/>；
S4，将空间域的频率信息图融合到RGB图像/>的空谱域特征中生成高光谱图像/>。
可选地，步骤S1中将RGB图像转换到频率域得到频域特征图/>包括：
S1.1，将输入的RGB图像转化到YCbCr空间图并按颜色通道分割成图像块；
S1.2，利用二维的离线离散余弦变换DCT将每一个图像块投影到频域得到频率系数；
S1.3，将每个图像块的频率系数按照Y、Cb、Cr三通道顺序排列在一起堆栈在一起，进行向量化得到频带；再将频带按照Z字形重组得到频域特征图，且所述频域特征图中每一个通道对应一个频带。
可选地，步骤S2中从频域特征图中提取频率信息图/>包括：
S2.1，将频域特征图按照YCbCr空间的Y、Cb、Cr三通道在通道维度三等份，首先分别对每一等份特征进行空间下采样并分割为低频信息和高频信息两部分，然后分别对每一等份中的低频信息与高频信息进行通道重组，得到低频特征/>与高频特征/>，且尺寸为/>，/>，其中/>为频域特征图/>的通道数，/>表示空间下采样后的尺寸大小；
S2.2，分别对低频特征与高频特征/>采用m个密集残差块RDB进行映射学习，且采用GeLu函数作为密集残差块RDB中的激活函数；
S2.3，将映射学习后的低频特征和与高频特征经过通道维堆叠后采用n个密集残差块RDB进行映射学习得到频率重组图，再将频率重组图上采样得到频率信息图。
可选地，步骤S3中将频率信息图变换到空间域得到空间域的频率信息图包括：
S3.1，将频率信息图分割成图像块；
S3.2，利用二维的离线离散余弦逆变换IDCT将每一个图像块投影到空间域；
S3.3，将投影到空间域中图像块组合得到空间域的频率信息图。
可选地，步骤S4中RGB图像的空谱域特征包括对RGB图像/>利用卷积核大小为1×1的卷积提取空谱浅层特征/>，以及将空谱浅层特征/>利用卷积核大小为3×3的卷积升维后送入对称卷积神经网络以进一步提取RGB图像/>的空谱深层特征/>；且将空间域的频率信息图/>融合到RGB图像/>的空谱域特征中生成高光谱图像/>的函数表达式为：
，
上式中，表示卷积核大小为3×3的卷积操作，/>表示卷积核大小为1×1的卷积操作，/>为空间域的频率信息图。
可选地，所述对称卷积神经网络包括特征提取上分支、空间注意力模块SA、特征提取下分支、通道堆叠模块CAT和卷积模块，所述特征提取上分支包括依次相连的N个局部特征提取模块LFEM，输入对称卷积神经网络的特征图从特征提取上分支的第一个局部特征提取模块LFEM进入，且特征提取上分支中的局部特征提取模块LFEM均包括三路输出，第一路输出到通道堆叠模块CAT、第二路输出到一个对应的空间注意力模块SA中，前N-1个局部特征提取模块LFEM的第三路输出到特征提取上分支中的下一个局部特征提取模块LFEM，所述特征提取下分支包括N个局部特征提取模块LFEM，第一个空间注意力模块SA的输出与特征提取上分支中的第N个局部特征提取模块LFEM的输出融合后作为特征提取下分支中第一个局部特征提取模块LFEM的输入，其余空间注意力模块SA的输出均与特征提取下分支中上一个局部特征提取模块LFEM的输出融合后作为特征提取下分支中对应的局部特征提取模块LFEM的输入，且特征提取下分支中每一个局部特征提取模块LFEM均包含一路输出连接到通道堆叠模块CAT，所述通道堆叠模块CAT的输出通过卷积核大小为1×1的卷积模块进行细化以得到RGB图像的空谱深层特征/>。
可选地，所述局部特征提取模块LFEM包括三个多特征融合双注意力模块MFFDAB、两个卷积核尺寸为1×1的组卷积、一个通道堆叠模块和一个卷积核大小为1×1的卷积，所述局部特征提取模块LFEM对输入特征图进行特征提取的函数表达式为：
，
，
，
，
上式中，～/>分别为三个多特征融合双注意力模块MFFDAB的输出特征，～/>分别表示三个多特征融合双注意力模块MFFDAB，/>与/>分别表示局部特征提取模块LFEM的输入输出特征，/>表示通道堆叠模块，/>表示卷积核大小为1×1的卷积，/>和/>分别表示两个卷积核尺寸为1×1的组卷积；所述多特征融合双注意力模块MFFDAB用于提取图像空谱域深层特征，其提取图像空谱域深层特征的函数表达式为：
，
，
，
，
，
，
上式中，～/>分别为三组中间特征，/>表示卷积核大小为1×1的卷积，表示卷积核尺寸为3×3的卷积，/>表示卷积核尺寸为5×5的卷积，/>表示卷积核尺寸为7×7的卷积，/>表示通道注意力模块、/>表示空间注意力模块，/>为通道注意力模块的输出特征，/>为空间注意力模块的输出特征，/>和/>分别表示第j个多特征融合双注意力模块MFFDAB的输入输出特征。
可选地，步骤S1～步骤S2为基于高光谱计算成像模型实现，所述高光谱计算成像模型包括：
频域变换模块，用于执行步骤S1；
频域学习模块FDLM，用于执行步骤S2；
频域逆变换模块，用于执行步骤S3；
特征融合模块FFM，用于执行步骤S4；
空谱域特征提取模块，用于提取RGB图像的空谱域特征；
所述高光谱计算成像模型在训练时采用的损失函数的函数表达式为：
，
上式中，为空谱域损失函数，/>为平衡参数，/>为频域损失函数，所述空谱域损失函数为高光谱计算成像模型生成的高光谱图像、作为标签的真实高光谱图像之间的/>范数，所述频域损失函数为高光谱计算成像模型生成的空间域的频率信息图、真实高光谱图像中的空间域的频率信息图之间的/>范数。
此外，本发明还提供一种空谱频多域融合的高光谱计算成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述空谱频多域融合的高光谱计算成像方法。本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述空谱频多域融合的高光谱计算成像方法。
和现有技术相比，本发明主要具有下述优点：本发明包括将RGB图像转换到频率域得到频域特征图/>，从频域特征图/>中提取频率信息图/>，将频率信息图/>变换到空间域得到空间域的频率信息图/>，将空间域的频率信息图/>融合到RGB图像的空谱域特征中生成高光谱图像/>，通过将频率信息引入到光谱超分辨率中构建了空谱频多域特征融合的光谱超分辨率方法，有效重构出高光谱图像的精细细节，相比于现有方法，能够显著提高光谱重建精度和视觉效果。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的网络结构示意图。
图3为本发明实施例中步骤S1的原理示意图。
图4为本发明实施例中步骤S2的原理示意图。
图5为本发明实施例中局部特征提取模块LFEM的网络结构示意图。
图6为本发明实施例中多特征融合双注意力模块MFFDAB的网络结构示意图。
图7为本发明实施例中空间注意力模块的网络结构示意图。
图8为本发明实施例中通道注意力模块的网络结构示意图。
图9为本发明实施例方法和现有方法计算成像结果对比实验结果。
具体实施方式
如图1和图2所示，本实施例空谱频多域融合的高光谱计算成像方法包括：
S1，将RGB图像转换到频率域得到频域特征图/>；
S2，从频域特征图中提取频率信息图/>；
S3，将频率信息图变换到空间域得到空间域的频率信息图/>；
S4，将空间域的频率信息图融合到RGB图像/>的空谱域特征中生成高光谱图像/>。
步骤S1中将RGB图像转换到频率域得到频域特征图/>可表示为：
，
上式中，为频域信息提取操作，/>为该分支最终输出的特征，/>分别为RGB图像/>的宽度和高度。
如图3所示，本实施例步骤S1中将RGB图像转换到频率域得到频域特征图/>包括：
S1.1，将输入的RGB图像转化到YCbCr空间图并按颜色通道分割成图像块；步骤S1.1分割成图像块可根据需要选择所需的行列数，一般情况下行列数相同，例如作为一种可选的实施方式，本实施例中分割成4×4=16个图像块；
S1.2，利用二维的离线离散余弦变换DCT将每一个图像块投影到频域得到频率系数，每个频率系数对应于特定频带的强度；
S1.3，将每个图像块的频率系数按照Y、Cb、Cr三通道顺序排列在一起堆栈在一起，进行向量化得到频带；再将频带按照Z字形重组得到频域特征图，且所述频域特征图中每一个通道对应一个频带。将频带按照Z字形重组，即为先按照从头到尾的顺序依次重组排列第一行，然后回到第二行头部，按照从头到尾的顺序依次重组排列第二行，依次类推，最终回到最后一行头部，按照从头到尾的顺序依次重组排列完最后一行。
由于上一步得到的频域信息并不能很好地表示图像所有特征，还需要借助于深度学习的非线性表征能力进一步学习频域信息，进而能够更好地作为空谱域信息的补充。如图4所示，本实施例步骤S2中从频域特征图/>中提取频率信息图/>包括：
S2.1，将频域特征图按照YCbCr空间的Y、Cb、Cr三通道在通道维度三等份，首先分别对每一等份特征进行空间下采样并分割为低频信息和高频信息两部分，然后分别对每一等份中的低频信息与高频信息进行通道重组，得到低频特征/>与高频特征/>，且尺寸为/>，/>，其中/>为频域特征图/>的通道数，/>表示空间下采样后的尺寸大小；本实施例中C=48，k取值为W/8，W为RGB图像/>的宽度。
S2.2，分别对低频特征与高频特征/>采用m个密集残差块RDB进行映射学习，且采用GeLu函数作为密集残差块RDB中的激活函数；基于不增加模型复杂度的原则，选择多个密集残差块RDB来分别对高频信息与低频信息进行映射学习，保证在不增加太多参数的情况下捕获信息之间的丰富度；因为频域信号含有负数的可能性，因此GeLu函数作为密集残差块中的激活函数；
S2.3，将映射学习后的低频特征和与高频特征经过通道维堆叠后采用n个密集残差块RDB进行映射学习得到频率重组图，再将频率重组图上采样得到频率信息图。基于不增加模型复杂度的原则，选择多个密集残差块RDB来分别对高频信息与低频信息进行映射学习，保证在不增加太多参数的情况下捕获信息之间的丰富度。
由于学习到的频域信息主要用于特征补充，因此需要再将信息转换到空域中，采用2D IDCT变换将其转化为空间域中。与离线DCT变换相同的是，同样需要对特征图切割一一反变换，最后基于形状重排得到与输入RGB尺寸一样的最终输出特征图。本实施例中，步骤S3中将频率信息图/>变换到空间域得到空间域的频率信息图/>包括：
S3.1，将频率信息图分割成图像块；
S3.2，利用二维的离线离散余弦逆变换IDCT将每一个图像块投影到空间域；
S3.3，将投影到空间域中图像块组合得到空间域的频率信息图。
需要说明的是，RGB图像的空谱域特征为空谱域信息提取分支实现，其具体可以根据需要采用公知的空谱域特征提取方法。作为一种可选的实施方式，如图2所示，本实施例步骤S4中RGB图像/>的空谱域特征包括对RGB图像/>利用卷积核大小为1×1的卷积提取空谱浅层特征/>（该特征与高光谱图像通道数相同），可表示为：
，
上式中，表示卷积核大小为1×1的卷积操作。
然后，将空谱浅层特征利用卷积核大小为3×3的卷积升维后送入对称卷积神经网络以进一步提取RGB图像/>的空谱深层特征/>，可表示为：
，
上式中，为特征升维操作，/>为对称卷积神经网络。
最后，将空间域的频率信息图融合到RGB图像/>的空谱域特征中生成高光谱图像/>的函数表达式为：
，
上式中，表示卷积核大小为3×3的卷积操作，/>表示卷积核大小为1×1的卷积操作，/>为空间域的频率信息图。
如图2所示，本实施例所述对称卷积神经网络（对称CNN）包括特征提取上分支、空间注意力模块SA、特征提取下分支、通道堆叠模块CAT和卷积模块，所述特征提取上分支包括依次相连的N个局部特征提取模块LFEM，输入对称卷积神经网络的特征图从特征提取上分支的第一个局部特征提取模块LFEM进入，且特征提取上分支中的局部特征提取模块LFEM均包括三路输出，第一路输出到通道堆叠模块CAT、第二路输出到一个对应的空间注意力模块SA中，前N-1个局部特征提取模块LFEM的第三路输出到特征提取上分支中的下一个局部特征提取模块LFEM，所述特征提取下分支包括N个局部特征提取模块LFEM，第一个空间注意力模块SA的输出与特征提取上分支中的第N个局部特征提取模块LFEM的输出融合后作为特征提取下分支中第一个局部特征提取模块LFEM的输入，其余空间注意力模块SA的输出均与特征提取下分支中上一个局部特征提取模块LFEM的输出融合后作为特征提取下分支中对应的局部特征提取模块LFEM的输入，且特征提取下分支中每一个局部特征提取模块LFEM均包含一路输出连接到通道堆叠模块CAT，所述通道堆叠模块CAT的输出通过卷积核大小为1×1的卷积模块进行细化以得到RGB图像的空谱深层特征/>。每个局部特征提取模块LFEM输出特征都保留了在当前阶段的有益信息，因此本实施例中所提方法将上下分支所有局部特征提取模块LFEM的输出特征在通道维度上拼接起来，并使用一个/>卷积对这些特征进行细化，以产生更高级别的特征表示。最后，通过这些操作，得到了空谱域信息提取分支的最终输出特征/>。通过将两个分支的输出特征相结合的方式，网络能够更好地捕捉输入图像的纹理和结构信息。同时使用了/>卷积细化特征，该操作同样有助于减少特征的维度并加快计算速度，达到模型轻量且性能高效的目的。得到RGB图像/>的空谱深层特征/>的过程用公式表达为：
，
其中，表示/>卷积，/>表示通道堆叠模块。
本实施例中设计了对称CNN的空谱特征提取结构，对称CNN由一些成对局部特征提取模块LFEM和空间注意力模块SA组成。对称CNN是一种具有双分支结构的神经网络，在这里首先将浅层特征送入到上分支进行特征提取。在上分支中，前一个LFEM的输出会作为下一个LFEM的输入，同时该输出还会通过空间注意力模块 SA变成下分支中相对应的LFEM输入的一部分。更重要的是，对于两个分支之间相对应的LFEM，该网络还采用了参数共享机制，使得网络能够更加高效地学习图像特征，同时大大降低参数量。
对于特征提取上分支而言，具体流程可表示为：
，
其中，表示上分支中第i个LFEM的输出特征，一共有3个/>表示第i个LFEM。
对于特征提取下分支而言，具体流程可表示为：
，
其中，表示下分支中第i个LFEM的输出特征。通过上式可以看出，针对下分支中第一个LFEM，由于没有前一个输出特征，因此选择将上分支中的最后一个LFEM输出作为下分支第0个LFEM输出特征。/>代表第i个LFEM，其参数与上分支中参数保持一致。/>表示第i个空间注意力模块。
基于密集残差块的优异表现，本实施例在此基础上提出了局部特征提取模块LFEM，作为空谱域提取分支中的对称CNN的核心模块。如图5所示，本实施例局部特征提取模块LFEM包括三个多特征融合双注意力模块MFFDAB、两个卷积核尺寸为1×1的组卷积、一个通道堆叠模块和一个卷积核大小为1×1的卷积，本实例中将多特征融合双注意力模块MFFDAB代替了传统密集残差块中的“卷积层-激活函数”组合，多了用于特征降维的组卷积。所述局部特征提取模块LFEM对输入特征图进行特征提取的函数表达式为：
，
，
，
，
上式中，～/>分别为三个多特征融合双注意力模块MFFDAB的输出特征，～/>分别表示三个多特征融合双注意力模块MFFDAB，/>与/>分别表示局部特征提取模块LFEM的输入输出特征，/>表示通道堆叠模块，/>表示卷积核大小为1×1的卷积，/>和/>分别表示两个卷积核尺寸为1×1的组卷积。
本实施例中的多特征融合双注意力模块MFFDAB用于提取图像空谱域深层特征，提高模型表达能力。如图6所示，本实施例多特征融合双注意力模块MFFDAB用于提取图像空谱域深层特征，其提取图像空谱域深层特征的函数表达式为：
，
，
，
，
，
，
上式中，～/>分别为三组中间特征，/>表示卷积核大小为1×1的卷积，表示卷积核尺寸为3×3的卷积，/>表示卷积核尺寸为5×5的卷积，/>表示卷积核尺寸为7×7的卷积，/>表示通道注意力模块、/>表示空间注意力模块，/>为通道注意力模块的输出特征，/>为空间注意力模块的输出特征，/>和/>分别表示第j个多特征融合双注意力模块MFFDAB的输入输出特征。如图6所示，首先将输入分别经过不同卷积核尺寸的卷积层，且其卷积大小分别为/>、/>、/>，目的是获得不同感受野的特征，捕获到更多的特征信息，提高模型的准确性和泛化能力。之后将两个不同感受野的特征通道堆叠融合，再进行总体融合获得多特征融合后的特征。然后，利用通道注意力模块CA得到每个通道的权重，对特征通道加权；利用空间注意力模块SA对空间上下文关系建模，对每个像素重新加权。最后，将该两个注意力的输出进行叠加融合，得到最终的特征表示。如图7所示，本实施例中的空间注意力模块针对输入特征的处理包括分别对输入的特征进行平均池化和最大池化处理，然后将处理结果进行通道堆叠后，再通过卷积核大小为7×7的卷积操作和Sigmoid激活函数激活后再与输入特征连接得到输出特征。如图8所示，本实施例中的通道注意力模块针对输入特征的处理包括依次进行自适应池化、卷积核大小为1×1的卷积、Relu激活函数激活、卷积核大小为1×1的卷积、Sigmoid激活函数激活后再与输入特征连接得到输出特征。本实施例中，设计了特征融合模块FFM将空谱域特征、频域信息与初始特征融合在一起，重构出高保真高光谱图像。由于空谱域特征、频域信息与初始特征维度不一致，不能简单叠加融合，因此需要设计一个特征融合模块（FFM）将这三种特征进行融合并输出最终超分高光谱图像。由于空谱域特征、频域信息已经被充分提取。
如图2所示，本实施例步骤S1～步骤S2为基于高光谱计算成像模型实现，所述高光谱计算成像模型包括：
频域变换模块，用于执行步骤S1；
频域学习模块FDLM，用于执行步骤S2；
频域逆变换模块，用于执行步骤S3；
特征融合模块FFM，用于执行步骤S4；
空谱域特征提取模块，用于提取RGB图像的空谱域特征；
所述高光谱计算成像模型在训练时采用的损失函数的函数表达式为：
，
上式中，为空谱域损失函数，/>为平衡参数，/>为频域损失函数，所述空谱域损失函数为高光谱计算成像模型生成的高光谱图像、作为标签的真实高光谱图像之间的/>范数，所述频域损失函数为高光谱计算成像模型生成的空间域的频率信息图、真实高光谱图像中的空间域的频率信息图之间的/>范数。在损失函数上，本实施例将高光谱计算成像与真实高光谱图像在频域的差异性也作为网络的约束之一，设计了上述空谱域与频域联合损失函数。定义/>为真实高光谱图像，/>表示重构的高光谱图像，/>与/>分别为真实高光谱频域信息、重构高光谱频域信息，则/>和/>可分别表示为：
，
，
上式中，表示/>范数。
为了对本实施例空谱频多域融合的高光谱计算成像方法进行验证，本实施例中利用CAVE数据集和Harvard数据进行验证实验，其中CAVE数据集共包含有32张室内图像，每张图像波段数为31，光谱分辨率为400-700nm，空间分辨率为512*512；Harvard数据集包含50张在自然日光下拍摄的室内和室外场景图像，波长范围为420-720nm，空间分辨率为1040*1392。在生成实验数据中，依据RGB与HSI之间的映射关系，对高光谱图像进行光谱下采样得到相对应的RGB数据集，组成实验所需要的RGB-HSI数据集。在实验中选择尼康~D700~相机的光谱响应函数作为光谱下采样矩阵。在训练数据与测试数据划分上，在CAVE数据集中，随机选择了20对数据(约60%)作为训练集，剩下的12对数据作为测试集。在Harvard数据集中，同样随机选取35对数据(70%)作为训练集，剩下的15对用于测试。为了能够准确地评估所提出方法的性能，同时更直观地比较不同方法的优劣。选择了广泛使用的四种客观评价指标，分别为光谱角距离SAM、均方根误差RMSE、全局图像质量指标UIQI，结构相似性SSIM。本实施例采用深度学习框架实现的，采用kaiming初始化方法初始化网络参数，同时基于Adam优化器去优化网络参数。优化器参数定为，/>，/>。初始学习率设置为0.0001，并选用余弦退火策略来衰减学习率。训练集图像块大小为64 *64，为了增大样本集，将32设置为裁剪时的重叠大小。整个网络训练过程中，共设置了100轮迭代，批大小为32。在实验中，与六种现有的光谱计算成像方法进行了对比，六种现有的光谱计算成像方法包括：
HSCNN-R(Shi Z, Chen C, Xiong Z, et al. HSCNN+: Advanced CNN-basedhyperspectral recovery from RGB images. In: Proc of IEEE Conference onComputer Vision and Pattern Recognition Workshops. 2018, 939–947)；
DFMN(Zhang L, Lang Z, Wang P, et al. Pixel-aware deep function-mixture network for spectral superresolution. In: Proc of AAAI Conference onArtificial Intelligence, volume 34. 2020, 12821–12828)；
HRNet(Zhao Y, Po L M, Yan Q, et al. Hierarchical regression networkfor spectral reconstruction from RGB images. In: Proc of IEEE/CVF Conferenceon Computer Vision and Pattern Recognition Workshops. 2020, 422–423)；
AWAN(Li J, Wu C, Song R, et al. Adaptive weighted attention networkwith camera spectral sensitivity prior for spectral reconstruction from RGBimages. In: Proc of IEEE/CVF Conference on Computer Vision and PatternRecognition Workshops. 2020, 462–463)；
HSRNet(He J, Li J, Yuan Q, et al. Spectral response function-guideddeep optimization-driven network for spectral super-resolution. IEEETransactions on Neural Networks and Learning Systems, 2021, 33(9):4213–4227)；
Prinet+(Hang R, Liu Q, Li Z. Spectral super-resolution network guidedby intrinsic properties of hyperspectral imagery. IEEE Transactions on ImageProcessing, 2021, 30:7256–7265)。
表1显示了不同方法在CAVE数据集和Harvard数据集中的各个客观评价指标。
表1：本实施例方法与六种现有方法在CAVE和Harvard数据集上的客观性能指标。
/>
从表1可以观察到，本实施例方法在两个数据集中均取得了最优评价指标，这表明所提方法能够更有效地提高高光谱图像的空间和光谱质量。除了客观评价指标，为了更能直观的感受不同光谱超分辨率成像方法的效果，本实施例还进行了视觉评价。在视觉评价中，显示超分高光谱图像的一个波段图像用于评价空间质量，并将其中某一区域放大。通过分析光谱误差图来评价图像的光谱质量，光谱误差图像是由计算原始高光谱图像和重构图像之间的光谱误差得到的，与评价指标SAM相关。
图9为不同方法在CAVE数据集上的视觉评价图，其中（a）为HSCNN-R方法的重建波段图，（b）为DFMN方法的重建波段图，（c）为HRNet方法的重建波段图，（d）为AWAN方法的重建波段图，（e）为HSCNN-R方法的光谱误差图，（f）为DFMN方法的光谱误差图，（g）为HRNet方法的光谱误差图，（h）为AWAN方法的光谱误差图，（i）为HSRNet方法的重建波段图，（j）为Prinet+方法的重建波段图，（k）为本实施例方法的重建波段图，（l）为参考的重建波段图，（m）为HSRNet方法的光谱误差图，（n）为Prinet+方法的光谱误差图，（o）为本实施例方法的光谱误差图。参见图9的对比可知，本实施例空谱频多域融合的高光谱计算成像方法获得了最小的光谱误差图，这表明本实施例空谱频多域融合的高光谱计算成像方法能够很好地重建空间细节信息。
综上所述，本实施例空谱频多域融合的高光谱计算成像方法包括频域信息学习模块、空谱域信息提取模块和特征融合模块。在频域信息学习模块中，利用离线离散余弦变换DCT将RGB图像转换到频率域，通过频域学习模块FDLM提取频域特征，最后经过离散余弦逆变换IDCT将频域信息变换到空间域。在空谱域信息提取分支中，基于提出的局部特征提取模块LFEM与空间注意力模块组成对称卷积神经网络CNN结构去提取图像的空谱域特征。特征融合模块FFM将两个分支提取的特征与初始特征融合在一起，生成高分辨率高光谱图像，能够解决现有光谱成像技术中高光谱图像细节信息差、重构精度低的问题。与传统网络模型所不同的是，本实施例空谱频多域融合的高光谱计算成像方法将频域信息引入到高光谱成像中，构建了空谱频多域特征融合框架，设计了对称卷积神经网络空谱特征提取结构，实现目标光谱的高保真重构。
此外，本实施例还提供一种空谱频多域融合的高光谱计算成像系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行所述空谱频多域融合的高光谱计算成像方法。本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行所述空谱频多域融合的高光谱计算成像方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种空谱频多域融合的高光谱计算成像方法，其特征在于，包括：
S1，将RGB图像转换到频率域得到频域特征图/>；
S2，从频域特征图中提取频率信息图/>，包括：S2.1，将频域特征图/>按照YCbCr空间的Y、Cb、Cr三通道在通道维度三等份，首先分别对每一等份特征进行空间下采样并分割为低频信息和高频信息两部分，然后分别对每一等份中的低频信息与高频信息进行通道重组，得到低频特征/>与高频特征/>，且尺寸为/>，，其中/>为频域特征图/>的通道数，/>表示空间下采样后的尺寸大小；S2.2，分别对低频特征/>与高频特征/>采用m个密集残差块RDB进行映射学习，且采用GeLu函数作为密集残差块RDB中的激活函数；S2.3，将映射学习后的低频特征和与高频特征经过通道维堆叠后采用n个密集残差块RDB进行映射学习得到频率重组图，再将频率重组图上采样得到频率信息图/>；
S3，将频率信息图变换到空间域得到空间域的频率信息图/>；
S4，将空间域的频率信息图融合到RGB图像/>的空谱域特征中生成高光谱图像/>，所述RGB图像/>的空谱域特征的获取包括：对RGB图像/>利用卷积核大小为1×1的卷积提取空谱浅层特征/>，以及将空谱浅层特征/>利用卷积核大小为3×3的卷积升维后送入对称卷积神经网络以进一步提取RGB图像/>的空谱深层特征/>以作为RGB图像/>的空谱域特征；所述将空间域的频率信息图/>融合到RGB图像/>的空谱域特征中生成高光谱图像/>的函数表达式为：
，
上式中，表示卷积核大小为3×3的卷积操作，/>表示卷积核大小为1×1的卷积操作，/>为空间域的频率信息图。
2.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法，其特征在于，步骤S1中将RGB图像转换到频率域得到频域特征图/>包括：
S1.1，将输入的RGB图像转化到YCbCr空间图并按颜色通道分割成图像块；
S1.2，利用二维的离线离散余弦变换DCT将每一个图像块投影到频域得到频率系数；
S1.3，将每个图像块的频率系数按照Y、Cb、Cr三通道顺序排列在一起堆栈在一起，进行向量化得到频带；再将频带按照Z字形重组得到频域特征图，且所述频域特征图/>中每一个通道对应一个频带。
3.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法，其特征在于，步骤S3中将频率信息图变换到空间域得到空间域的频率信息图/>包括：
S3.1，将频率信息图分割成图像块；
S3.2，利用二维的离线离散余弦逆变换IDCT将每一个图像块投影到空间域；
S3.3，将投影到空间域中图像块组合得到空间域的频率信息图。
4.根据权利要求1所述的空谱频多域融合的高光谱计算成像方法，其特征在于，所述对称卷积神经网络包括特征提取上分支、空间注意力模块SA、特征提取下分支、通道堆叠模块CAT和卷积模块，所述特征提取上分支包括依次相连的N个局部特征提取模块LFEM，输入对称卷积神经网络的特征图从特征提取上分支的第一个局部特征提取模块LFEM进入，且特征提取上分支中的局部特征提取模块LFEM均包括三路输出，第一路输出到通道堆叠模块CAT、第二路输出到一个对应的空间注意力模块SA中，前N-1个局部特征提取模块LFEM的第三路输出到特征提取上分支中的下一个局部特征提取模块LFEM，所述特征提取下分支包括N个局部特征提取模块LFEM，第一个空间注意力模块SA的输出与特征提取上分支中的第N个局部特征提取模块LFEM的输出融合后作为特征提取下分支中第一个局部特征提取模块LFEM的输入，其余空间注意力模块SA的输出均与特征提取下分支中上一个局部特征提取模块LFEM的输出融合后作为特征提取下分支中对应的局部特征提取模块LFEM的输入，且特征提取下分支中每一个局部特征提取模块LFEM均包含一路输出连接到通道堆叠模块CAT，所述通道堆叠模块CAT的输出通过卷积核大小为1×1的卷积模块进行细化以得到RGB图像的空谱深层特征/>。
5.根据权利要求4所述的空谱频多域融合的高光谱计算成像方法，其特征在于，所述局部特征提取模块LFEM包括三个多特征融合双注意力模块MFFDAB、两个卷积核尺寸为1×1的组卷积、一个通道堆叠模块和一个卷积核大小为1×1的卷积，所述局部特征提取模块LFEM对输入特征图进行特征提取的函数表达式为：
，
，
，
，
上式中，～/>分别为三个多特征融合双注意力模块MFFDAB的输出特征，/>～分别表示三个多特征融合双注意力模块MFFDAB，/>与/>分别表示局部特征提取模块LFEM的输入输出特征，/>表示通道堆叠模块，/>表示卷积核大小为1×1的卷积，和/>分别表示两个卷积核尺寸为1×1的组卷积；所述多特征融合双注意力模块MFFDAB用于提取图像空谱域深层特征，其提取图像空谱域深层特征的函数表达式为：
，
，
，
，
，
，
上式中，～/>分别为三组中间特征，/>表示卷积核大小为1×1的卷积，表示卷积核尺寸为3×3的卷积，/>表示卷积核尺寸为5×5的卷积，/>表示卷积核尺寸为7×7的卷积，/>表示通道注意力模块、/>表示空间注意力模块，/>为通道注意力模块的输出特征，/>为空间注意力模块的输出特征，/>和/>分别表示第j个多特征融合双注意力模块MFFDAB的输入输出特征。
6.根据权利要求5所述的空谱频多域融合的高光谱计算成像方法，其特征在于，步骤S1～步骤S4为基于高光谱计算成像模型实现，所述高光谱计算成像模型包括：
频域变换模块，用于执行步骤S1；
频域学习模块FDLM，用于执行步骤S2；
频域逆变换模块，用于执行步骤S3；
特征融合模块FFM，用于执行步骤S4；
空谱域特征提取模块，用于提取RGB图像的空谱域特征；
所述高光谱计算成像模型在训练时采用的损失函数的函数表达式为：
，
上式中，为空谱域损失函数，/>为平衡参数，/>为频域损失函数，所述空谱域损失函数为高光谱计算成像模型生成的高光谱图像、作为标签的真实高光谱图像之间的/>范数，所述频域损失函数为高光谱计算成像模型生成的空间域的频率信息图、真实高光谱图像中的空间域的频率信息图之间的/>范数。
7.一种空谱频多域融合的高光谱计算成像系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～6中任意一项所述空谱频多域融合的高光谱计算成像方法。
8.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～6中任意一项所述空谱频多域融合的高光谱计算成像方法。
CN202311622750.8A 2023-11-30 2023-11-30 一种空谱频多域融合的高光谱计算成像方法、系统及介质 Active CN117314757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311622750.8A CN117314757B (zh) 2023-11-30 2023-11-30 一种空谱频多域融合的高光谱计算成像方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311622750.8A CN117314757B (zh) 2023-11-30 2023-11-30 一种空谱频多域融合的高光谱计算成像方法、系统及介质

Publications (2)

Publication Number Publication Date
CN117314757A CN117314757A (zh) 2023-12-29
CN117314757B true CN117314757B (zh) 2024-02-09

Family

ID=89285272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311622750.8A Active CN117314757B (zh) 2023-11-30 2023-11-30 一种空谱频多域融合的高光谱计算成像方法、系统及介质

Country Status (1)

Country Link
CN (1) CN117314757B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876754A (zh) * 2018-05-31 2018-11-23 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的遥感图像缺失数据重建方法
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN114998109A (zh) * 2022-08-03 2022-09-02 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN116091916A (zh) * 2022-11-22 2023-05-09 南京信息工程大学 一种多尺度从rgb图像重建对应的高光谱图像算法及系统
CN116452930A (zh) * 2023-03-28 2023-07-18 中国人民解放军军事科学院系统工程研究院 降质环境下基于频域增强的多光谱图像融合方法与系统
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法
CN116612004A (zh) * 2023-05-22 2023-08-18 桂林理工大学 基于双路径融合的高光谱图像重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891527B2 (en) * 2019-03-19 2021-01-12 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image fusion using unrolled projected gradient descent and convolutinoal neural network
EP3992848A1 (en) * 2020-10-30 2022-05-04 Tata Consultancy Services Limited Method and system for learning spectral features of hyperspectral data using dcnn

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876754A (zh) * 2018-05-31 2018-11-23 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的遥感图像缺失数据重建方法
CN109636769A (zh) * 2018-12-18 2019-04-16 武汉大学 基于双路密集残差网络的高光谱和多光谱图像融合方法
CN114998109A (zh) * 2022-08-03 2022-09-02 湖南大学 基于双rgb图像融合的高光谱成像方法、系统及介质
CN116091916A (zh) * 2022-11-22 2023-05-09 南京信息工程大学 一种多尺度从rgb图像重建对应的高光谱图像算法及系统
CN115861083A (zh) * 2023-03-03 2023-03-28 吉林大学 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
CN116452930A (zh) * 2023-03-28 2023-07-18 中国人民解放军军事科学院系统工程研究院 降质环境下基于频域增强的多光谱图像融合方法与系统
CN116612004A (zh) * 2023-05-22 2023-08-18 桂林理工大学 基于双路径融合的高光谱图像重建方法
CN116468645A (zh) * 2023-06-20 2023-07-21 吉林大学 一种对抗性高光谱多光谱遥感融合方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution;Tingting Liu et al;arxiv;1-13 *
Hyperspectral Remote Sensing Images Deep Feature Extraction Based on Mixed Feature and Convolutional Neural Networks;Jing Liu et al;Remote Sensing(第13期);1-17 *
Naive Gabor Networks for Hyperspectral Image Classification;Chenying Liu et al;IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS;第32卷(第1期);376-390 *
基于离散余弦变换的高光谱图像复原方法;周鑫等;激光杂志;第44卷(第2期);118-122 *
对抗网络实现单幅RGB重建高光谱图像;刘鹏飞;赵怀慈;李培玄;;红外与激光工程(第S1期);143-150 *
高光谱遥感图像本征信息分解前沿与挑战;李树涛等;测绘学报;第52卷(第7期);1059-1073 *

Also Published As

Publication number Publication date
CN117314757A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
Yang et al. Canonical correlation analysis networks for two-view image recognition
CN112184554B (zh) 一种基于残差混合膨胀卷积的遥感图像融合方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN109035267B (zh) 一种基于深度学习的图像目标抠取方法
Zhang et al. Symmetric all convolutional neural-network-based unsupervised feature extraction for hyperspectral images classification
Ma et al. Deep unfolding network for spatiospectral image super-resolution
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
Xu et al. AutoSegNet: An automated neural network for image segmentation
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
Cao et al. Hyperspectral imagery classification based on compressed convolutional neural network
Zhou et al. AIF-LFNet: All-in-focus light field super-resolution method considering the depth-varying defocus
Zhang et al. Fsanet: Frequency self-attention for semantic segmentation
Kumar et al. A Robust Approach for Image Super-Resolution using Modified Very Deep Convolution Networks
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
CN117314757B (zh) 一种空谱频多域融合的高光谱计算成像方法、系统及介质
CN110197226B (zh) 一种无监督图像翻译方法及系统
Li et al. Multi-view convolutional vision transformer for 3D object recognition
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置
CN116563187A (zh) 一种基于图神经网络的多光谱图像融合
Wu et al. RepCPSI: Coordinate-Preserving Proximity Spectral Interaction Network With Reparameterization for Lightweight Spectral Super-Resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant