CN114757831A - 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 - Google Patents

基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 Download PDF

Info

Publication number
CN114757831A
CN114757831A CN202210658844.XA CN202210658844A CN114757831A CN 114757831 A CN114757831 A CN 114757831A CN 202210658844 A CN202210658844 A CN 202210658844A CN 114757831 A CN114757831 A CN 114757831A
Authority
CN
China
Prior art keywords
image frame
resolution
video
pixel
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210658844.XA
Other languages
English (en)
Other versions
CN114757831B (zh
Inventor
李树涛
佃仁伟
刘海波
郭安静
胡宇龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210658844.XA priority Critical patent/CN114757831B/zh
Publication of CN114757831A publication Critical patent/CN114757831A/zh
Application granted granted Critical
Publication of CN114757831B publication Critical patent/CN114757831B/zh
Priority to PCT/CN2022/124890 priority patent/WO2023240857A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质，本发明基于智能空谱融合的高分辨率视频高光谱成像方法包括：1）分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧。本发明基于智能空谱融合的高分辨率视频高光谱成像方法能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本。

Description

基于智能空谱融合的高分辨率视频高光谱成像方法、装置及 介质
技术领域
本发明涉及高光谱成像技术，具体涉及一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质。
背景技术
高光谱成像技术可以同时获取与不同光谱波长相对应的视频，光谱范围覆盖了可见光波段到短波红外波段。由于不同材料反射率也不一样，所以高光谱视频可以帮助准确识别目标，因而高光谱视频被广泛地应用于遥感、医学诊断和人脸识别等领域。但是，由于成像传感器的限制，现有光学成像系统在空间分辨率、光谱分辨率以及信噪比之间相互制约，难以直接获取高空间分辨率高光谱视频，降低了高光谱视频的应用价值。此外，通过成像传感器来解决高光谱空间分辨率极其困难且成本高，已成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于智能空谱融合的高分辨率视频高光谱成像方法及装置，本发明能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于智能空谱融合的高分辨率视频高光谱成像方法，包括：
1）分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；
2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧。
可选地，步骤1）中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
可选地，步骤1）之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤：
S1）构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型：
X=ZB+N x
Y=RZ+N y
上式中，X为分辨率的高光谱图像帧，Y为高分辨率的RGB图像帧，Z为高分辨率的高光谱图像帧，B为估计空间响应模糊核，R为光谱响应模糊核，N x 和N y 为噪声，获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的样本；
S2）建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层，通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型，从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
可选地，步骤2）中将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络后，融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括：
2.1）分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放，然后堆叠并提取特征数据；
2.2）将堆叠后提取得到的特征数据进行重排，并引入位置编码与重排后的特征数据进行逐像素相加；
2.3）将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素；
2.4）将提取得到的深度特征像素进行重组，并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联；
2.5）将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2）中缩放后的高光谱图像帧相加，得到高分辨率的高光谱图像帧。
可选地，步骤1）中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧，步骤1）之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤：将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来，分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换，得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧；然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理，得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
可选地，所述将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时，共裁剪出N幅宽为w和高为h的子视频，其中N为波段数量，任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(m t ,n t )，且根据下式剪裁出第t个波段的子视频：
f t (x,y)= f t (m t +x,n t +y)( x∈[0,w-1], y∈[0,h-1], t∈[1,N])
上式中，f t (x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值，f t (m t +x,n t +y)为原始的低分辨率的高光谱图像帧中(m t +x,n t +y)位置处的像素值，N为波段数量，w为子视频的宽度，h为子视频的高度。
可选地，所述分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括：针对任意第t个波段的子视频，根据张正友相机标定方法获得畸变系数矩阵k t =[k t1,k t2]T、主点坐标(u t0,v t0)以及焦距(f x ,f y )，通过下式进行像素坐标变换:
Figure 260614DEST_PATH_IMAGE001
Figure 988661DEST_PATH_IMAGE002
Figure 761445DEST_PATH_IMAGE003
Figure 36569DEST_PATH_IMAGE004
上式中，f(u t ,v t )为第t个波段的子视频转换后的像素坐标(u t ,v t )处的像素值，f(u´ t ,v´ t )为第t个波段的子视频转换前的像素坐标(u´ t ,v´ t )处的像素值，x" t 和y" t 为中间变量；针对原始的高分辨率的RGB图像帧，根据张正友相机标定方法获得畸变系数矩阵k r =[k r1,k r2]R、主点坐标(u r0,v r0)以及焦距(f xr ,f yr )，通过下式进行像素坐标变换：
Figure 273515DEST_PATH_IMAGE005
Figure 139840DEST_PATH_IMAGE006
Figure 665499DEST_PATH_IMAGE007
Figure 275472DEST_PATH_IMAGE008
上式中，(u r ,v r )为高分辨率的RGB图像帧转换后的像素坐标，f(u r ,v r )为原始的高分辨率的RGB图像帧的像素坐标(u r ,v r )处的像素值，f(u´ r ,v´ r )为第r个波段的子视频转换前的像素坐标(u´ r ,v´ r )处的像素值，x" r 和y" r 为中间变量；所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时，将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为：
Figure 68722DEST_PATH_IMAGE009
上式中，(p t ,q t )为第t个波段的子视频单应性变换后的坐标，H t 为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵，(p t0,q t0)为坐标(p t ,q t )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p t ,q t )处的像素值f 2(p t ,q t )的函数表达式为：
Figure 371528DEST_PATH_IMAGE010
上式中，(p t1,q t1)、(p t1+1,q t1)、(p t1,q t1+1)、(p t1+1,q t1+1)分别为坐标(p t ,q t )单应性变换前对应的坐标(p t0,q t0)处最近的四个像素点的坐标，f 1(p t1,q t1)为第t个波段的子视频单应性变换前坐标(p t1,q t1)处的像素值，f 1(p t1+1,q t1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1)处的像素值，f 1(p t1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1,q t1+1)处的像素值，f 1(p t1+1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1+1)处的像素值；将高分辨率的RGB图像帧进行单应性变换的函数表达式为：
Figure 118904DEST_PATH_IMAGE011
上式中，(p r ,q r )为高分辨率的RGB图像帧单应性变换后的坐标，H r 为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵，(p r0,q r0)为坐标(p r ,q r )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p r ,q r )处的像素值f 2(p r ,q r )的计算函数表达式为：
Figure 532568DEST_PATH_IMAGE012
上式中，(p r1,q r1)、(p r1+1,q r1)、(p r1,q r1+1)、(p r1+1,q r1+1)分别为坐标(p r ,q r )单应性变换前对应的坐标(p r0,q r0)处最近的四个像素点的坐标，f 1(p r1,q r1)为第r个波段的子视频单应性变换前坐标(p r1,q r1)处的像素值，f 1(p r1+1,q r1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1)处的像素值，f 1(p r1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1,q r1+1)处的像素值，f 1(p r1+1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1+1)处的像素值。
此外，本发明还提供一种基于智能空谱融合的高分辨率视频高光谱成像装置，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外，本发明还提供一种用于应用所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置，包括主镜、分光棱镜、第一目镜、RGB成像传感器、物镜、微透镜及滤光片阵列、第二目镜和全色CMOS成像传感器，所述主镜位于分光棱镜的入光侧光路上，所述分光棱镜将射入得到光线分成两束，其中一束经过第一目镜射入RGB成像传感器，另一束依次经过物镜、微透镜及滤光片阵列、第二目镜射入全色CMOS成像传感器，所述微透镜及滤光片阵列用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器获得高光谱视频不同波段的子视频。
可选地，所述微透镜及滤光片阵列由微透镜阵列和滤光片阵列构成，所述微透镜阵列用于将物镜所成的像复制多份；所述滤光片阵列用于对微透镜阵列所成的像进行滤光，从而获得所需波段的像。
和现有技术相比，本发明主要具有下述优点：
1、本发明基于智能空谱融合的高分辨率视频高光谱成像方法通过预先训练好的融合网络，建立了作为输入的下采样后的高光谱图像帧、RGB图像帧，和作为输出的高分辨率的高光谱图像帧的映射关系，从而能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本，通过RGB和高光谱的融合实现了高光谱视频的获取，具有高时间和空间分辨率、成本低、信噪比高、计算效率高等优点，突破了现有高光谱相机空间和光谱分辨相互制约的难题。
2、本发明基于智能空谱融合的高分辨率视频高光谱成像方法适用于各种不同类型的高光谱和多光谱视频数据融合，适用范围广。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中融合网络的结构示意图。
图3为本发明实施例中成像装置的结构示意图。
具体实施方式
如图1所示，本实施例基于智能空谱融合的高分辨率视频高光谱成像方法包括：
1）分别对低分辨率的高光谱图像帧（来自输入的高光谱视频）、高分辨率的RGB图像帧（来自输入的RGB视频）进行下采样；需要说明的是，此处的低分辨率、高分辨率表达的是一种相对概念，其表达的是RGB图像帧的分辨率比高光谱图像帧的分辨率高（高光谱图像帧的分辨率很难达到RGB图像帧），而本实施例方法的最终目标是获得与RGB图像帧相同分辨率级别的高光谱图像帧，即：高分辨率的高光谱图像帧；
2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧（作为输出的HSI视频的图像帧）。本实施例基于智能空谱融合的高分辨率视频高光谱成像方法通过预先训练好的融合网络，建立了作为输入的下采样后的高光谱图像帧、RGB图像帧，和作为输出的高分辨率的高光谱图像帧的映射关系，从而能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧，通过预先训练好的融合网络，获得高分辨率的高光谱图像帧，从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题，可有效降低获取高光谱图像帧的成本。
本实施例步骤1）中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
本实施例中，步骤1）之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤：
S1）构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型：
X=ZB+N x
Y=RZ+N y
上式中，X为分辨率的高光谱图像帧，Y为高分辨率的RGB图像帧，Z为高分辨率的高光谱图像帧，B为估计空间响应模糊核，R为光谱响应模糊核，N x 和N y 为噪声，获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本；
S2）建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层，通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型，从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型，即高光谱成像模型，可准确估计空间响应模糊核B，从而可利用空间响应模糊核B生成训练数据，解决了本实施例基于智能空谱融合的高分辨率视频高光谱成像方法训练数据难以获得的难题。
如图2所示，本实施例步骤2）中融合网络的结构示意图。参见图2，本实施例步骤2）中将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络后，融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括：
2.1）分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放，然后堆叠并提取特征数据；图2中，缩放层即为用于将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放，后续的连接层则用于将缩放后的高光谱图像帧、RGB图像帧堆叠，再通过卷积层提取特征数据；
2.2）将堆叠后提取得到的特征数据进行重排，并引入位置编码与重排后的特征数据进行逐像素相加；其中，重排是指特征图空间像素按照一定规则排列到光谱维上面，或者光谱维像素按一定规则排列到空间维上，通过将空间维的像素排列到光谱维上可以缩短训练时间。位置编码是指在重新排列特征视频素的时候，在重排之前为每个像素赋予一个可训练的权重参数，在重排之前或者之后加到原像素上去，上述功能是通过图2中的位置编码混洗PeS（Position-encoding Shuffle，简称PeS）层实现的；
2.3）将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块（ResBlock）提取深度特征像素；参见图2，残差块（ResBlock）包括依次相连的依次相连的卷积层、ReLU激活函数层、卷积层，且最后一个卷积层的输出特征与第一个卷积层的输入特征通过一求和层求和后作为残差块的输出。
2.4）将提取得到的深度特征像素进行重组，并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联；其中，重组是指特征图空间维像素按照一定规则排列到光谱维上面，或者光谱维像素按一定规则排列到空间维上，通过将空间维的像素排列到光谱维上可以缩短训练时间。位置编码与步骤2.2）中的完全相同，上述功能是通过图2中的位置编码反移PeUs（Position-encoding Unshuffle，简称PeUs）层实现的，且在PeUs层之后包含卷积层以用于进一步对与重组后的特征数据提取特征；
2.5）将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2）中缩放后的高光谱图像帧相加，得到高分辨率的高光谱图像帧。
参见步骤2.1）～2.5）可知，本实施例步骤2）中融合网络将卷积神经网络和位置编码相结合，可显著降低数据配准精度不高所带来的误差，减小了网络的参数，提升了计算效率以及系统的普适性。
本实施例中，步骤1）中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧，这样不仅解决了训练数据不足的问题，还保证了训练数据和测试数据的成像模型、数据类型的一致，提升了融合成像的精度。步骤1）之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤：将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来，分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换，得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧；然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理，得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
本实施例中，将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时，共裁剪出N幅宽为w和高为h的子视频，其中N为波段数量，任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(m t ,n t )，且根据下式剪裁出第t个波段的子视频：
f t (x,y)= f t (m t +x,n t +y)( x∈[0,w-1], y∈[0,h-1], t∈[1,N])，（1）
上式中，f t (x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值，f t (m t +x,n t +y)为原始的低分辨率的高光谱图像帧中(m t +x,n t +y)位置处的像素值，N为波段数量，w为子视频的宽度，h为子视频的高度。
本实施例中，分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括：针对任意第t个波段的子视频，根据张正友相机标定方法获得畸变系数矩阵k t =[k t1,k t2]T、主点坐标(u t0,v t0)以及焦距(f x ,f y )，通过式（2）～（5）进行像素坐标变换；
Figure 885051DEST_PATH_IMAGE001
，（2）
Figure 624337DEST_PATH_IMAGE002
，（3）
Figure 859010DEST_PATH_IMAGE003
，（4）
Figure 312250DEST_PATH_IMAGE013
，（5）
上式中，f(u t ,v t )为第t个波段的子视频转换后的像素坐标(u t ,v t )处的像素值，f(u´ t ,v´ t )为第t个波段的子视频转换前的像素坐标(u´ t ,v´ t )处的像素值，x" t 和y" t 为中间变量；针对原始的高分辨率的RGB图像帧，根据张正友相机标定方法获得畸变系数矩阵k r =[k r1,k r2]R、主点坐标(u r0,v r0)以及焦距(f xr ,f yr )，通过式（6）～（9）进行像素坐标变换；
Figure 581557DEST_PATH_IMAGE005
，（6）
Figure 695007DEST_PATH_IMAGE006
，（7）
Figure 151396DEST_PATH_IMAGE007
，（8）
Figure 375704DEST_PATH_IMAGE008
，（9）
上式中，(u r ,v r )为高分辨率的RGB图像帧转换后的像素坐标，f(u r ,v r )为原始的高分辨率的RGB图像帧的像素坐标(u r ,v r )处的像素值，f(u´ r ,v´ r )为第r个波段的子视频转换前的像素坐标(u´ r ,v´ r )处的像素值，x" r 和y" r 为中间变量；所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时，将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为：
Figure 233938DEST_PATH_IMAGE009
，（10）
上式中，(p t ,q t )为第t个波段的子视频单应性变换后的坐标，H t 为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵，(p t0,q t0)为坐标(p t ,q t )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p t ,q t )处的像素值f 2(p t ,q t )的函数表达式为：
Figure 49448DEST_PATH_IMAGE010
，（11）
上式中，(p t1,q t1)、(p t1+1,q t1)、(p t1,q t1+1)、(p t1+1,q t1+1)分别为坐标(p t ,q t )单应性变换前对应的坐标(p t0,q t0)处最近的四个像素点的坐标，f 1(p t1,q t1)为第t个波段的子视频单应性变换前坐标(p t1,q t1)处的像素值，f 1(p t1+1,q t1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1)处的像素值，f 1(p t1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1,q t1+1)处的像素值，f 1(p t1+1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1+1)处的像素值；将高分辨率的RGB图像帧进行单应性变换的函数表达式为：
Figure 461974DEST_PATH_IMAGE011
，（12）
上式中，(p r ,q r )为高分辨率的RGB图像帧单应性变换后的坐标，H r 为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵，(p r0,q r0)为坐标(p r ,q r )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p r ,q r )处的像素值f 2(p r ,q r )的计算函数表达式为：
Figure 286711DEST_PATH_IMAGE012
，（13）
上式中，(p r1,q r1)、(p r1+1,q r1)、(p r1,q r1+1)、(p r1+1,q r1+1)分别为坐标(p r ,q r )单应性变换前对应的坐标(p r0,q r0)处最近的四个像素点的坐标，f 1(p r1,q r1)为第r个波段的子视频单应性变换前坐标(p r1,q r1)处的像素值，f 1(p r1+1,q r1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1)处的像素值，f 1(p r1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1,q r1+1)处的像素值，f 1(p r1+1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1+1)处的像素值。
此外，本实施例还提供一种基于智能空谱融合的高分辨率图像高光谱成像方法，其步骤与前述基于智能空谱融合的高分辨率视频高光谱成像方法相同，其不同为步骤1）中低分辨率的高光谱图像帧不是来自输入的高光谱视频、高分辨率的RGB图像帧也不是来自输入的RGB视频，而是直接给定的低分辨率的高光谱图像和高分辨率的RGB图像。
此外，本实施例还提供一种基于智能空谱融合的高分辨率视频高光谱成像装置，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器编程或配置以执行前述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
进一步地，本实施例还提供一种用于前述基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置，可用于获得原始的低分辨率的高光谱视频、高分辨率的RGB视频，从而为基于智能空谱融合的高分辨率视频高光谱成像技术提供一整套软件+硬件的解决方案。
如图3所示，本实施例中的成像装置包括主镜1、分光棱镜2、第一目镜3、RGB成像传感器4、物镜5、微透镜及滤光片阵列6、第二目镜7和全色CMOS成像传感器8，主镜1位于分光棱镜2的入光侧光路上，分光棱镜2将射入得到光线分成两束，其中一束经过第一目镜3射入RGB成像传感器4，另一束依次经过物镜5、微透镜及滤光片阵列6、第二目镜7射入全色CMOS成像传感器8，微透镜及滤光片阵列6用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器8获得高光谱视频不同波段的子视频，利用计算机获取RGB成像传感器4、全色CMOS成像传感器8的传感器数据，即可获得原始的低分辨率的高光谱视频、高分辨率的RGB视频。高光谱视频由高光谱图像帧构成，RGB视频由RGB图像帧构成，从而可应用前述基于智能空谱融合的高分辨率视频高光谱成像方法实现高分辨率的高光谱图像帧合成，进一步地由高光谱图像帧可还原出高光谱视频。
微透镜及滤光片阵列6由微透镜阵列和滤光片阵列构成，微透镜阵列是由通光孔径及浮雕深度为微米级的透镜组成的阵列，用于将物镜所成的像复制多份。滤光片阵列是由能获取不同所需辐射波段的滤光片组成的阵列，用于对微透镜阵列所成的像进行滤光，从而获得所需波段的像。微透镜阵列与滤光片阵列两者组合形成微透镜及滤光片阵列6，从而使得全色CMOS成像传感器8可同时获取目标在不同所需波段的像。
应当说明的是，本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，包括：
1）分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样；
2）将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络，获得高分辨率的高光谱图像帧；其中，融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括：2.1）分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放，然后堆叠并提取特征数据；2.2）将堆叠后提取得到的特征数据进行重排，并引入位置编码与重排后的特征数据进行逐像素相加；2.3）将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素；2.4）将提取得到的深度特征像素进行重组，并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联；2.5）将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2）中缩放后的高光谱图像帧相加，得到高分辨率的高光谱图像帧。
2.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1）中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
3.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1）之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤：
S1）构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型：
X=ZB+N x
Y=RZ+N y
上式中，X为分辨率的高光谱图像帧，Y为高分辨率的RGB图像帧，Z为高分辨率的高光谱图像帧，B为估计空间响应模糊核，R为光谱响应模糊核，N x 和N y 为噪声，获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本；
S2）建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层，通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型，从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
4.根据权利要求1～3中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，步骤1）中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧，步骤1）之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤：将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来，分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换，得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧；然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理，得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
5.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，所述将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时，共裁剪出N幅宽为w和高为h的子视频，其中N为波段数量，任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(m t ,n t )，且根据下式剪裁出第t个波段的子视频：
f t (x,y)= f t (m t +x,n t +y)( x∈[0,w-1], y∈[0,h-1], t∈[1,N])
上式中，f t (x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值，f t (m t +x,n t +y)为原始的低分辨率的高光谱图像帧中(m t +x,n t +y)位置处的像素值，N为波段数量，w为子视频的宽度，h为子视频的高度。
6.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法，其特征在于，所述分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括：针对任意第t个波段的子视频，根据张正友相机标定方法获得畸变系数矩阵k t =[k t1,k t2]T、主点坐标(u t0,v t0)以及焦距(f x ,f y )，通过下式进行像素坐标变换：
Figure 259319DEST_PATH_IMAGE001
Figure 176460DEST_PATH_IMAGE002
Figure 487356DEST_PATH_IMAGE003
Figure 679302DEST_PATH_IMAGE004
上式中，f(u t ,v t )为第t个波段的子视频转换后的像素坐标(u t ,v t )处的像素值，f(u´ t ,v´ t )为第t个波段的子视频转换前的像素坐标(u´ t ,v´ t )处的像素值，x" t 和y" t 为中间变量；针对原始的高分辨率的RGB图像帧，根据张正友相机标定方法获得畸变系数矩阵k r =[k r1,k r2]R、主点坐标(u r0,v r0)以及焦距(f xr ,f yr )，通过下式进行像素坐标变换：
Figure 493675DEST_PATH_IMAGE005
Figure 112875DEST_PATH_IMAGE006
Figure 379908DEST_PATH_IMAGE007
Figure 109967DEST_PATH_IMAGE008
上式中，(u r ,v r )为高分辨率的RGB图像帧转换后的像素坐标，f(u r ,v r )为原始的高分辨率的RGB图像帧的像素坐标(u r ,v r )处的像素值，f(u´ r ,v´ r )为第r个波段的子视频转换前的像素坐标(u´ r ,v´ r )处的像素值，x" r 和y" r 为中间变量；所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时，将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为：
Figure 778845DEST_PATH_IMAGE009
上式中，(p t ,q t )为第t个波段的子视频单应性变换后的坐标，H t 为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵，(p t0,q t0)为坐标(p t ,q t )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p t ,q t )处的像素值f 2(p t ,q t )的函数表达式为：
Figure 70412DEST_PATH_IMAGE010
上式中，(p t1,q t1)、(p t1+1,q t1)、(p t1,q t1+1)、(p t1+1,q t1+1)分别为坐标(p t ,q t )单应性变换前对应的坐标(p t0,q t0)处最近的四个像素点的坐标，f 1(p t1,q t1)为第t个波段的子视频单应性变换前坐标(p t1,q t1)处的像素值，f 1(p t1+1,q t1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1)处的像素值，f 1(p t1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1,q t1+1)处的像素值，f 1(p t1+1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1+1)处的像素值；将高分辨率的RGB图像帧进行单应性变换的函数表达式为：
Figure 824741DEST_PATH_IMAGE011
上式中，(p r ,q r )为高分辨率的RGB图像帧单应性变换后的坐标，H r 为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵，(p r0,q r0)为坐标(p r ,q r )单应性变换前对应的坐标，进行插值处理得到单应性变换后的坐标(p r ,q r )处的像素值f 2(p r ,q r )的计算函数表达式为：
Figure 92911DEST_PATH_IMAGE012
上式中，(p r1,q r1)、(p r1+1,q r1)、(p r1,q r1+1)、(p r1+1,q r1+1)分别为坐标(p r ,q r )单应性变换前对应的坐标(p r0,q r0)处最近的四个像素点的坐标，f 1(p r1,q r1)为第r个波段的子视频单应性变换前坐标(p r1,q r1)处的像素值，f 1(p r1+1,q r1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1)处的像素值，f 1(p r1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1,q r1+1)处的像素值，f 1(p r1+1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1+1)处的像素值。
7.一种基于智能空谱融合的高分辨率视频高光谱成像装置，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，该计算机程序用于被微处理器编程或配置以执行权利要求1～6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
9.一种用于权利要求1～6中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置，其特征在于，包括主镜（1）、分光棱镜（2）、第一目镜（3）、RGB成像传感器（4）、物镜（5）、微透镜及滤光片阵列（6）、第二目镜（7）和全色CMOS成像传感器（8），所述主镜（1）位于分光棱镜（2）的入光侧光路上，所述分光棱镜（2）将射入得到光线分成两束，其中一束经过第一目镜（3）射入RGB成像传感器（4），另一束依次经过物镜（5）、微透镜及滤光片阵列（6）、第二目镜（7）射入全色CMOS成像传感器（8），所述微透镜及滤光片阵列（6）用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器（8）获得高光谱视频不同波段的子视频。
10.根据权利要求9所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置，其特征在于，所述微透镜及滤光片阵列（6）由微透镜阵列和滤光片阵列构成，所述微透镜阵列用于将物镜所成的像复制多份；所述滤光片阵列用于对微透镜阵列所成的像进行滤光，从而获得所需波段的像。
CN202210658844.XA 2022-06-13 2022-06-13 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 Active CN114757831B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210658844.XA CN114757831B (zh) 2022-06-13 2022-06-13 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
PCT/CN2022/124890 WO2023240857A1 (zh) 2022-06-13 2022-10-12 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210658844.XA CN114757831B (zh) 2022-06-13 2022-06-13 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

Publications (2)

Publication Number Publication Date
CN114757831A true CN114757831A (zh) 2022-07-15
CN114757831B CN114757831B (zh) 2022-09-06

Family

ID=82336384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658844.XA Active CN114757831B (zh) 2022-06-13 2022-06-13 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

Country Status (2)

Country Link
CN (1) CN114757831B (zh)
WO (1) WO2023240857A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018750A (zh) * 2022-08-08 2022-09-06 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质
WO2023240857A1 (zh) * 2022-06-13 2023-12-21 湖南大学 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
WO2024066118A1 (zh) * 2022-09-27 2024-04-04 同济大学 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809193B (zh) * 2024-03-01 2024-05-17 江西省林业科学院 一种无人机高光谱影像与地物高光谱数据融合方法
CN117994624B (zh) * 2024-04-03 2024-06-11 聊城大学 一种基于可见光和高光谱图像信息融合的目标识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288950A1 (en) * 2013-08-16 2015-10-08 University Of New Brunswick Camera imaging systems and methods
US20190392555A1 (en) * 2018-06-26 2019-12-26 Applied Research, LLC System and Method for Generating High-Resolution Stereo Image and Depth Map
CN111709882A (zh) * 2020-08-06 2020-09-25 南京理工大学 基于亚像素卷积与特征分割的超分辨率融合的计算方法
CN111899166A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于深度学习的医学高光谱显微图像超分辨重构方法
CN112700370A (zh) * 2020-12-29 2021-04-23 南京理工大学 超参数保真与深度先验联合学习的高光谱图像超分辨方法
CN113421216A (zh) * 2021-08-24 2021-09-21 湖南大学 一种高光谱融合计算成像方法及系统
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统
CN113902658A (zh) * 2021-09-01 2022-01-07 西安电子科技大学 基于密集多尺度网络的rgb图像到高光谱图像重建方法
US20220108430A1 (en) * 2019-01-31 2022-04-07 University Of Southern California Hyperspectral imaging system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160241797A1 (en) * 2015-02-17 2016-08-18 Canon Kabushiki Kaisha Devices, systems, and methods for single-shot high-resolution multispectral image acquisition
CN112634137B (zh) * 2020-12-28 2024-03-05 西安电子科技大学 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
CN112488978A (zh) * 2021-02-05 2021-03-12 湖南大学 基于模糊核估计的多光谱图像融合成像方法及系统
CN114757831B (zh) * 2022-06-13 2022-09-06 湖南大学 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288950A1 (en) * 2013-08-16 2015-10-08 University Of New Brunswick Camera imaging systems and methods
US20190392555A1 (en) * 2018-06-26 2019-12-26 Applied Research, LLC System and Method for Generating High-Resolution Stereo Image and Depth Map
US20220108430A1 (en) * 2019-01-31 2022-04-07 University Of Southern California Hyperspectral imaging system
CN111899166A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于深度学习的医学高光谱显微图像超分辨重构方法
CN111709882A (zh) * 2020-08-06 2020-09-25 南京理工大学 基于亚像素卷积与特征分割的超分辨率融合的计算方法
CN112700370A (zh) * 2020-12-29 2021-04-23 南京理工大学 超参数保真与深度先验联合学习的高光谱图像超分辨方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113421216A (zh) * 2021-08-24 2021-09-21 湖南大学 一种高光谱融合计算成像方法及系统
CN113902658A (zh) * 2021-09-01 2022-01-07 西安电子科技大学 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN113888491A (zh) * 2021-09-27 2022-01-04 长沙理工大学 基于非局部特征的多级高光谱图像递进超分方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RENWEI DIAN ET AL.: "Nonlocal Sparse Tensor Factorization for Semiblind Hyperspectral and Multispectral Image Fusion", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
RENWEI DIAN ET AL.: "Regularizing Hyperspectral and Multispectral Image Fusion by CNN Denoiser", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
RENWEIDIAN ET AL.: "Multispectral and hyperspectral image fusion with spatial-spectral sparse representation", 《INFORMATION FUSION》 *
RENWEIDIAN ET AL.: "Recent advances and new guidelines on hyperspectral and multispectral image fusion", 《INFORMATION FUSION》 *
王建中 等: "基于残差密集块和自编码网络的红外与可见光图像融合", 《北京理工大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240857A1 (zh) * 2022-06-13 2023-12-21 湖南大学 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
CN115018750A (zh) * 2022-08-08 2022-09-06 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质
CN115018750B (zh) * 2022-08-08 2022-11-08 湖南大学 中波红外高光谱及多光谱图像融合方法、系统及介质
WO2024066118A1 (zh) * 2022-09-27 2024-04-04 同济大学 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法
CN116071237A (zh) * 2023-03-01 2023-05-05 湖南大学 基于滤光片采样融合的视频高光谱成像方法、系统及介质

Also Published As

Publication number Publication date
WO2023240857A1 (zh) 2023-12-21
CN114757831B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN114757831B (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
CN103098089B (zh) 图像超分辨率的方法
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
EP2268043B1 (en) Image processing device, imaging device, method, and program
EP2403233B1 (en) Image processing apparatus and method
US9383199B2 (en) Imaging apparatus
US10147167B2 (en) Super-resolution image reconstruction using high-frequency band extraction
CN110880162B (zh) 基于深度学习的快照光谱深度联合成像方法及系统
WO2013080552A1 (ja) 撮像装置及び撮像システム
CN112116539B (zh) 一种基于深度学习的光学像差模糊去除方法
EP2731334A1 (en) Image pickup apparatus and image generating method
US20210392313A1 (en) Image processing apparatus, image processing method, storage medium, manufacturing method of learned model, and image processing system
US20070206103A1 (en) Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN105659054A (zh) 摄像装置和相位差检测方法
CN108805921A (zh) 图像获取系统及方法
KR20230118938A (ko) 광학적 방법
Yang et al. An efficient adaptive interpolation for bayer CFA demosaicking
CN110332991B (zh) 一种光谱的重构方法、装置和电子设备
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
CN102376083B (zh) 串色图像处理系统和提高清晰度的方法
Lam Compact and thin multi-lens system for machine vision applications
Wisotzky et al. Efficient and Accurate Hyperspectral Image Demosaicing with Neural Network Architectures
Kim Subsampled Channel Difference for Color Image Enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant