CN114757831B - 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 - Google Patents
基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 Download PDFInfo
- Publication number
- CN114757831B CN114757831B CN202210658844.XA CN202210658844A CN114757831B CN 114757831 B CN114757831 B CN 114757831B CN 202210658844 A CN202210658844 A CN 202210658844A CN 114757831 B CN114757831 B CN 114757831B
- Authority
- CN
- China
- Prior art keywords
- image frame
- resolution
- video
- hyperspectral
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 40
- 238000001228 spectrum Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 230000009466 transformation Effects 0.000 claims description 58
- 230000004044 response Effects 0.000 claims description 25
- 230000003595 spectral effect Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 125000004432 carbon atom Chemical group C* 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质,本发明基于智能空谱融合的高分辨率视频高光谱成像方法包括:1)分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样;2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络,获得高分辨率的高光谱图像帧。本发明基于智能空谱融合的高分辨率视频高光谱成像方法能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧,通过预先训练好的融合网络,获得高分辨率的高光谱图像帧,从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题,可有效降低获取高光谱图像帧的成本。
Description
技术领域
本发明涉及高光谱成像技术,具体涉及一种基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质。
背景技术
高光谱成像技术可以同时获取与不同光谱波长相对应的视频,光谱范围覆盖了可见光波段到短波红外波段。由于不同材料反射率也不一样,所以高光谱视频可以帮助准确识别目标,因而高光谱视频被广泛地应用于遥感、医学诊断和人脸识别等领域。但是,由于成像传感器的限制,现有光学成像系统在空间分辨率、光谱分辨率以及信噪比之间相互制约,难以直接获取高空间分辨率高光谱视频,降低了高光谱视频的应用价值。此外,通过成像传感器来解决高光谱空间分辨率极其困难且成本高,已成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于智能空谱融合的高分辨率视频高光谱成像方法及装置,本发明能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧,通过预先训练好的融合网络,获得高分辨率的高光谱图像帧,从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题,可有效降低获取高光谱图像帧的成本。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于智能空谱融合的高分辨率视频高光谱成像方法,包括:
1)分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样;
2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络,获得高分辨率的高光谱图像帧。
可选地,步骤1)中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
可选地,步骤1)之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤:
S1)构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型:
X=ZB+N x
Y=RZ+N y
上式中,X为分辨率的高光谱图像帧,Y为高分辨率的RGB图像帧,Z为高分辨率的高光谱图像帧,B为估计空间响应模糊核,R为光谱响应模糊核,N x 和N y 为噪声,获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的样本;
S2)建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层,通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型,从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
可选地,步骤2)中将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络后,融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括:
2.1)分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放,然后堆叠并提取特征数据;
2.2)将堆叠后提取得到的特征数据进行重排,并引入位置编码与重排后的特征数据进行逐像素相加;
2.3)将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素;
2.4)将提取得到的深度特征像素进行重组,并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联;
2.5)将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2)中缩放后的高光谱图像帧相加,得到高分辨率的高光谱图像帧。
可选地,步骤1)中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧,步骤1)之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤:将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来,分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换,得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧;然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理,得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
可选地,所述将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时,共裁剪出N幅宽为w和高为h的子视频,其中N为波段数量,任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(m t ,n t ),且根据下式剪裁出第t个波段的子视频:
f t (x,y)= f t (m t +x,n t +y)( x∈[0,w-1], y∈[0,h-1], t∈[1,N])
上式中,f t (x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值,f t (m t +x,n t +y)为原始的低分辨率的高光谱图像帧中(m t +x,n t +y)位置处的像素值,N为波段数量,w为子视频的宽度,h为子视频的高度。
可选地,所述分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括:针对任意第t个波段的子视频,根据张正友相机标定方法获得畸变系数矩阵k t =[k t1,k t2]T、主点坐标(u t0,v t0)以及焦距(f x ,f y ),通过下式进行像素坐标变换:
上式中,f(u t ,v t )为第t个波段的子视频转换后的像素坐标(u t ,v t )处的像素值,f(u´ t ,v´ t )为第t个波段的子视频转换前的像素坐标(u´ t ,v´ t )处的像素值,x" t 和y" t 为中间变量;针对原始的高分辨率的RGB图像帧,根据张正友相机标定方法获得畸变系数矩阵k r =[k r1,k r2]R、主点坐标(u r0,v r0)以及焦距(f xr ,f yr ),通过下式进行像素坐标变换:
上式中,(u r ,v r )为高分辨率的RGB图像帧转换后的像素坐标,f(u r ,v r )为原始的高分辨率的RGB图像帧的像素坐标(u r ,v r )处的像素值,f(u´ r ,v´ r )为第r个波段的子视频转换前的像素坐标(u´ r ,v´ r )处的像素值,x" r 和y" r 为中间变量;所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时,将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为:
上式中,(p t ,q t )为第t个波段的子视频单应性变换后的坐标,H t 为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵,(p t0,q t0)为坐标(p t ,q t )单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(p t ,q t )处的像素值f 2(p t ,q t )的函数表达式为:
上式中,(p t1,q t1)、(p t1+1,q t1)、(p t1,q t1+1)、(p t1+1,q t1+1)分别为坐标(p t ,q t )单应性变换前对应的坐标(p t0,q t0)处最近的四个像素点的坐标,f 1(p t1,q t1)为第t个波段的子视频单应性变换前坐标(p t1,q t1)处的像素值,f 1(p t1+1,q t1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1)处的像素值,f 1(p t1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1,q t1+1)处的像素值,f 1(p t1+1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1+1)处的像素值;将高分辨率的RGB图像帧进行单应性变换的函数表达式为:
上式中,(p r ,q r )为高分辨率的RGB图像帧单应性变换后的坐标,H r 为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵,(p r0,q r0)为坐标(p r ,q r )单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(p r ,q r )处的像素值f 2(p r ,q r )的计算函数表达式为:
上式中,(p r1,q r1)、(p r1+1,q r1)、(p r1,q r1+1)、(p r1+1,q r1+1)分别为坐标(p r ,q r )单应性变换前对应的坐标(p r0,q r0)处最近的四个像素点的坐标,f 1(p r1,q r1)为第r个波段的子视频单应性变换前坐标(p r1,q r1)处的像素值,f 1(p r1+1,q r1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1)处的像素值,f 1(p r1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1,q r1+1)处的像素值,f 1(p r1+1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1+1)处的像素值。
此外,本发明还提供一种基于智能空谱融合的高分辨率视频高光谱成像装置,包括相互连接的微处理器和存储器,所述微处理器被编程或配置以执行所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,该计算机程序用于被微处理器编程或配置以执行所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外,本发明还提供一种用于应用所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,包括主镜、分光棱镜、第一目镜、RGB成像传感器、物镜、微透镜及滤光片阵列、第二目镜和全色CMOS成像传感器,所述主镜位于分光棱镜的入光侧光路上,所述分光棱镜将射入得到光线分成两束,其中一束经过第一目镜射入RGB成像传感器,另一束依次经过物镜、微透镜及滤光片阵列、第二目镜射入全色CMOS成像传感器,所述微透镜及滤光片阵列用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器获得高光谱视频不同波段的子视频。
可选地,所述微透镜及滤光片阵列由微透镜阵列和滤光片阵列构成,所述微透镜阵列用于将物镜所成的像复制多份;所述滤光片阵列用于对微透镜阵列所成的像进行滤光,从而获得所需波段的像。
和现有技术相比,本发明主要具有下述优点:
1、本发明基于智能空谱融合的高分辨率视频高光谱成像方法通过预先训练好的融合网络,建立了作为输入的下采样后的高光谱图像帧、RGB图像帧,和作为输出的高分辨率的高光谱图像帧的映射关系,从而能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧,通过预先训练好的融合网络,获得高分辨率的高光谱图像帧,从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题,可有效降低获取高光谱图像帧的成本,通过RGB和高光谱的融合实现了高光谱视频的获取,具有高时间和空间分辨率、成本低、信噪比高、计算效率高等优点,突破了现有高光谱相机空间和光谱分辨相互制约的难题。
2、本发明基于智能空谱融合的高分辨率视频高光谱成像方法适用于各种不同类型的高光谱和多光谱视频数据融合,适用范围广。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中融合网络的结构示意图。
图3为本发明实施例中成像装置的结构示意图。
具体实施方式
如图1所示,本实施例基于智能空谱融合的高分辨率视频高光谱成像方法包括:
1)分别对低分辨率的高光谱图像帧(来自输入的高光谱视频)、高分辨率的RGB图像帧(来自输入的RGB视频)进行下采样;需要说明的是,此处的低分辨率、高分辨率表达的是一种相对概念,其表达的是RGB图像帧的分辨率比高光谱图像帧的分辨率高(高光谱图像帧的分辨率很难达到RGB图像帧),而本实施例方法的最终目标是获得与RGB图像帧相同分辨率级别的高光谱图像帧,即:高分辨率的高光谱图像帧;
2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络,获得高分辨率的高光谱图像帧(作为输出的HSI视频的图像帧)。本实施例基于智能空谱融合的高分辨率视频高光谱成像方法通过预先训练好的融合网络,建立了作为输入的下采样后的高光谱图像帧、RGB图像帧,和作为输出的高分辨率的高光谱图像帧的映射关系,从而能够基于低分辨率的高光谱图像帧、高分辨率的RGB图像帧,通过预先训练好的融合网络,获得高分辨率的高光谱图像帧,从而可有效解决现有直接通过成像传感器来解决高光谱空间分辨率极其困难且成本高的问题,可有效降低获取高光谱图像帧的成本。
本实施例步骤1)中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
本实施例中,步骤1)之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤:
S1)构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型:
X=ZB+N x
Y=RZ+N y
上式中,X为分辨率的高光谱图像帧,Y为高分辨率的RGB图像帧,Z为高分辨率的高光谱图像帧,B为估计空间响应模糊核,R为光谱响应模糊核,N x 和N y 为噪声,获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本;
S2)建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层,通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型,从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型,即高光谱成像模型,可准确估计空间响应模糊核B,从而可利用空间响应模糊核B生成训练数据,解决了本实施例基于智能空谱融合的高分辨率视频高光谱成像方法训练数据难以获得的难题。
如图2所示,本实施例步骤2)中融合网络的结构示意图。参见图2,本实施例步骤2)中将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络后,融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括:
2.1)分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放,然后堆叠并提取特征数据;图2中,缩放层即为用于将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放,后续的连接层则用于将缩放后的高光谱图像帧、RGB图像帧堆叠,再通过卷积层提取特征数据;
2.2)将堆叠后提取得到的特征数据进行重排,并引入位置编码与重排后的特征数据进行逐像素相加;其中,重排是指特征图空间像素按照一定规则排列到光谱维上面,或者光谱维像素按一定规则排列到空间维上,通过将空间维的像素排列到光谱维上可以缩短训练时间。位置编码是指在重新排列特征视频素的时候,在重排之前为每个像素赋予一个可训练的权重参数,在重排之前或者之后加到原像素上去,上述功能是通过图2中的位置编码混洗PeS(Position-encoding Shuffle,简称PeS)层实现的;
2.3)将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块(ResBlock)提取深度特征像素;参见图2,残差块(ResBlock)包括依次相连的依次相连的卷积层、ReLU激活函数层、卷积层,且最后一个卷积层的输出特征与第一个卷积层的输入特征通过一求和层求和后作为残差块的输出。
2.4)将提取得到的深度特征像素进行重组,并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联;其中,重组是指特征图空间维像素按照一定规则排列到光谱维上面,或者光谱维像素按一定规则排列到空间维上,通过将空间维的像素排列到光谱维上可以缩短训练时间。位置编码与步骤2.2)中的完全相同,上述功能是通过图2中的位置编码反移PeUs(Position-encoding Unshuffle,简称PeUs)层实现的,且在PeUs层之后包含卷积层以用于进一步对与重组后的特征数据提取特征;
2.5)将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2)中缩放后的高光谱图像帧相加,得到高分辨率的高光谱图像帧。
参见步骤2.1)~2.5)可知,本实施例步骤2)中融合网络将卷积神经网络和位置编码相结合,可显著降低数据配准精度不高所带来的误差,减小了网络的参数,提升了计算效率以及系统的普适性。
本实施例中,步骤1)中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧,这样不仅解决了训练数据不足的问题,还保证了训练数据和测试数据的成像模型、数据类型的一致,提升了融合成像的精度。步骤1)之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤:将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来,分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换,得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧;然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理,得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
本实施例中,将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时,共裁剪出N幅宽为w和高为h的子视频,其中N为波段数量,任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(m t ,n t ),且根据下式剪裁出第t个波段的子视频:
f t (x,y)= f t (m t +x,n t +y)( x∈[0,w-1], y∈[0,h-1], t∈[1,N]),(1)
上式中,f t (x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值,f t (m t +x,n t +y)为原始的低分辨率的高光谱图像帧中(m t +x,n t +y)位置处的像素值,N为波段数量,w为子视频的宽度,h为子视频的高度。
本实施例中,分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括:针对任意第t个波段的子视频,根据张正友相机标定方法获得畸变系数矩阵k t =[k t1,k t2]T、主点坐标(u t0,v t0)以及焦距(f x ,f y ),通过式(2)~(5)进行像素坐标变换;
上式中,f(u t ,v t )为第t个波段的子视频转换后的像素坐标(u t ,v t )处的像素值,f(u´ t ,v´ t )为第t个波段的子视频转换前的像素坐标(u´ t ,v´ t )处的像素值,x" t 和y" t 为中间变量;针对原始的高分辨率的RGB图像帧,根据张正友相机标定方法获得畸变系数矩阵k r =[k r1,k r2]R、主点坐标(u r0,v r0)以及焦距(f xr ,f yr ),通过式(6)~(9)进行像素坐标变换;
上式中,(u r ,v r )为高分辨率的RGB图像帧转换后的像素坐标,f(u r ,v r )为原始的高分辨率的RGB图像帧的像素坐标(u r ,v r )处的像素值,f(u´ r ,v´ r )为第r个波段的子视频转换前的像素坐标(u´ r ,v´ r )处的像素值,x" r 和y" r 为中间变量;所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时,将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为:
上式中,(p t ,q t )为第t个波段的子视频单应性变换后的坐标,H t 为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵,(p t0,q t0)为坐标(p t ,q t )单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(p t ,q t )处的像素值f 2(p t ,q t )的函数表达式为:
上式中,(p t1,q t1)、(p t1+1,q t1)、(p t1,q t1+1)、(p t1+1,q t1+1)分别为坐标(p t ,q t )单应性变换前对应的坐标(p t0,q t0)处最近的四个像素点的坐标,f 1(p t1,q t1)为第t个波段的子视频单应性变换前坐标(p t1,q t1)处的像素值,f 1(p t1+1,q t1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1)处的像素值,f 1(p t1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1,q t1+1)处的像素值,f 1(p t1+1,q t1+1)为第t个波段的子视频单应性变换前坐标(p t1+1,q t1+1)处的像素值;将高分辨率的RGB图像帧进行单应性变换的函数表达式为:
上式中,(p r ,q r )为高分辨率的RGB图像帧单应性变换后的坐标,H r 为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵,(p r0,q r0)为坐标(p r ,q r )单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(p r ,q r )处的像素值f 2(p r ,q r )的计算函数表达式为:
上式中,(p r1,q r1)、(p r1+1,q r1)、(p r1,q r1+1)、(p r1+1,q r1+1)分别为坐标(p r ,q r )单应性变换前对应的坐标(p r0,q r0)处最近的四个像素点的坐标,f 1(p r1,q r1)为第r个波段的子视频单应性变换前坐标(p r1,q r1)处的像素值,f 1(p r1+1,q r1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1)处的像素值,f 1(p r1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1,q r1+1)处的像素值,f 1(p r1+1,q r1+1)为第r个波段的子视频单应性变换前坐标(p r1+1,q r1+1)处的像素值。
此外,本实施例还提供一种基于智能空谱融合的高分辨率图像高光谱成像方法,其步骤与前述基于智能空谱融合的高分辨率视频高光谱成像方法相同,其不同为步骤1)中低分辨率的高光谱图像帧不是来自输入的高光谱视频、高分辨率的RGB图像帧也不是来自输入的RGB视频,而是直接给定的低分辨率的高光谱图像和高分辨率的RGB图像。
此外,本实施例还提供一种基于智能空谱融合的高分辨率视频高光谱成像装置,包括相互连接的微处理器和存储器,所述微处理器被编程或配置以执行前述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
此外,本实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,该计算机程序用于被微处理器编程或配置以执行前述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
进一步地,本实施例还提供一种用于前述基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,可用于获得原始的低分辨率的高光谱视频、高分辨率的RGB视频,从而为基于智能空谱融合的高分辨率视频高光谱成像技术提供一整套软件+硬件的解决方案。
如图3所示,本实施例中的成像装置包括主镜1、分光棱镜2、第一目镜3、RGB成像传感器4、物镜5、微透镜及滤光片阵列6、第二目镜7和全色CMOS成像传感器8,主镜1位于分光棱镜2的入光侧光路上,分光棱镜2将射入得到光线分成两束,其中一束经过第一目镜3射入RGB成像传感器4,另一束依次经过物镜5、微透镜及滤光片阵列6、第二目镜7射入全色CMOS成像传感器8,微透镜及滤光片阵列6用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器8获得高光谱视频不同波段的子视频,利用计算机获取RGB成像传感器4、全色CMOS成像传感器8的传感器数据,即可获得原始的低分辨率的高光谱视频、高分辨率的RGB视频。高光谱视频由高光谱图像帧构成,RGB视频由RGB图像帧构成,从而可应用前述基于智能空谱融合的高分辨率视频高光谱成像方法实现高分辨率的高光谱图像帧合成,进一步地由高光谱图像帧可还原出高光谱视频。
微透镜及滤光片阵列6由微透镜阵列和滤光片阵列构成,微透镜阵列是由通光孔径及浮雕深度为微米级的透镜组成的阵列,用于将物镜所成的像复制多份。滤光片阵列是由能获取不同所需辐射波段的滤光片组成的阵列,用于对微透镜阵列所成的像进行滤光,从而获得所需波段的像。微透镜阵列与滤光片阵列两者组合形成微透镜及滤光片阵列6,从而使得全色CMOS成像传感器8可同时获取目标在不同所需波段的像。
应当说明的是,本领域技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,包括:
1)分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样;
2)将下采样后的高光谱图像帧、RGB图像帧输入预先训练好的融合网络,获得高分辨率的高光谱图像帧;其中,融合网络对输入的下采样后的高光谱图像帧、RGB图像帧进行处理以获得高分辨率的高光谱图像帧的步骤包括:2.1)分别将输入的下采样后的高光谱图像帧、RGB图像帧进行缩放,然后堆叠并提取特征数据;2.2)将堆叠后提取得到的特征数据进行重排,并引入位置编码与重排后的特征数据进行逐像素相加;2.3)将引入位置编码逐像素相加后得到的特征数据利用多个级联连接的残差块提取深度特征像素;2.4)将提取得到的深度特征像素进行重组,并再次引入位置编码与重组后的特征数据进行逐像素相加以增强像素之间的关联;2.5)将再次引入位置编码与逐像素相加后得到的深度特征数据和步骤1.2)中缩放后的高光谱图像帧相加,得到高分辨率的高光谱图像帧。
2.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)中分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样是指分别通过用于模拟空间响应模糊核B的卷积层分别对低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行下采样。
3.根据权利要求1所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)之前还包括训练用于模拟空间响应模糊核B的卷积层的步骤:
S1)构建低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧之间的成像模型:
X=ZB+Nx
Y=RZ+Ny
上式中,X为分辨率的高光谱图像帧,Y为高分辨率的RGB图像帧,Z为高分辨率的高光谱图像帧,B为估计空间响应模糊核,R为光谱响应模糊核,Nx和Ny为噪声,获得低分辨率的高光谱图像帧、高分辨率的RGB图像帧以及所需获得的高分辨率的高光谱图像帧的视频样本;
S2)建立用于模拟空间响应模糊核B卷积层以及用于模拟光谱响应模糊核R的全连接层,通过低分辨率的高光谱图像帧和高分辨率的RGB图像帧的视频样本训练成像模型,从而得到完成训练后的用于模拟光谱响应模糊核R的全连接层以及用于模拟空间响应模糊核B的卷积层。
4.根据权利要求1~3中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,步骤1)中的低分辨率的高光谱图像帧、高分辨率的RGB图像帧为预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧,步骤1)之前还包括分别对原始的低分辨率的高光谱图像帧、高分辨率的RGB图像帧进行预处理以获得预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧的步骤:将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来,分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换,得到标定坐标系下的各波段的子视频、高分辨率的RGB图像帧;然后将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理,得到预处理后的低分辨率的高光谱图像帧、高分辨率的RGB图像帧。
5.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,所述将各波段的子视频从原始的低分辨率的高光谱图像帧中裁剪出来时,共裁剪出N幅宽为w和高为h的子视频,其中N为波段数量,任意第t个波段的子视频原点在原始的低分辨率的高光谱图像帧中坐标为(mt,nt),且根据下式剪裁出第t个波段的子视频:
ft(x,y)=ft(mt+x,nt+y)(x∈[0,w-1],y∈[0,h-1],t∈[1,N])
上式中,ft(x,y)为第t个波段的子视频中坐标(x,y)位置处的像素值,ft(mt+x,nt+y)为原始的低分辨率的高光谱图像帧中(mt+x,nt+y)位置处的像素值,N为波段数量,w为子视频的宽度,h为子视频的高度。
6.根据权利要求4所述的基于智能空谱融合的高分辨率视频高光谱成像方法,其特征在于,所述分别将各波段的子视频、原始的高分辨率的RGB图像帧分别进行坐标变换包括:针对任意第t个波段的子视频,根据张正友相机标定方法获得畸变系数矩阵kt=[kt1,kt2]T、主点坐标(ut0,vt0)以及焦距(fx,fy),通过下式进行像素坐标变换:
f(ut,vt)=f(u′t,v′t)
上式中,f(ut,vt)为第t个波段的子视频转换后的像素坐标(ut,vt)处的像素值,f(u′t,v′t)为第t个波段的子视频转换前的像素坐标(u′t,v′t)处的像素值,x′t和y′t为中间变量,x"t和y"t为中间变量;针对原始的高分辨率的RGB图像帧,根据张正友相机标定方法获得畸变系数矩阵kr=[kr1,kr2]R、主点坐标(ur0,vr0)以及焦距(fxr,fyr),通过下式进行像素坐标变换:
f(ur,vr)=f(u′r,v′r)
上式中,(ur,vr)为高分辨率的RGB图像帧转换后的像素坐标,f(ur,vr)为原始的高分辨率的RGB图像帧的像素坐标(ur,vr)处的像素值,f(u′r,v′r)为第r个波段的子视频转换前的像素坐标(u′r,v′r)处的像素值,x′r和y′r为中间变量,x"r和y"r为中间变量;所述将标定坐标系下的各波段的子视频、高分辨率的RGB图像帧分别进行单应性变换并进行插值处理时,将标定坐标系下的第t个波段的子视频进行单应性变换的函数表达式为:
上式中,(pt,qt)为第t个波段的子视频单应性变换后的坐标,Ht为对第t个波段的子视频采用张正友相机标定方法获得单应性矩阵,(pt0,qt0)为坐标(pt,qt)单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(pt,qt)处的像素值f2(pt,qt)的函数表达式为:
f2(pt,qt)=(pt1+1-pt0)(qt1+1-qt0)f1(pt1,qt1)+(pt0-pt1)(qt1+1-qt0)f1(pt1+1,qt1)+(pt1+1-pt0)(qt0-qt1)f1(pt1,qt1+1)+(pt0-pt1)(qt0-qt1)f1(pt1+1,qt1+1)
上式中,(pt1,qt1)、(pt1+1,qt1)、(pt1,qt1+1)、(pt1+1,qt1+1)分别为坐标(pt,qt)单应性变换前对应的坐标(pt0,qt0)处最近的四个像素点的坐标,f1(pt1,qt1)为第t个波段的子视频单应性变换前坐标(pt1,qt1)处的像素值,f1(pt1+1,qt1)为第t个波段的子视频单应性变换前坐标(pt1+1,qt1)处的像素值,f1(pt1,qt1+1)为第t个波段的子视频单应性变换前坐标(pt1,qt1+1)处的像素值,f1(pt1+1,qt1+1)为第t个波段的子视频单应性变换前坐标(pt1+1,qt1+1)处的像素值;将高分辨率的RGB图像帧进行单应性变换的函数表达式为:
上式中,(pr,qr)为高分辨率的RGB图像帧单应性变换后的坐标,Hr为对高分辨率的RGB图像帧采用张正友相机标定方法获得单应性矩阵,(pr0,qr0)为坐标(pr,qr)单应性变换前对应的坐标,进行插值处理得到单应性变换后的坐标(pr,qr)处的像素值f2(pr,qr)的计算函数表达式为:
f2(pr,qr)=(pr1+1-pr0)(qr1+1-qr0)f1(pr1,qr1)+(pr0-pr1)(qr1+1-qr0)f1(pr1+1,qr1)+(pr1+1-pr0)(qr0-qr1)f1(pr1,qr1+1)+(pr0-pr1)(qr0-qr1)f1(pr1+1,qr1+1)
上式中,(pr1,qr1)、(pr1+1,qr1)、(pr1,qr1+1)、(pr1+1,qr1+1)分别为坐标(pr,qr)单应性变换前对应的坐标(pr0,qr0)处最近的四个像素点的坐标,f1(pr1,qr1)为第r个波段的子视频单应性变换前坐标(pr1,qr1)处的像素值,f1(pr1+1,qr1)为第r个波段的子视频单应性变换前坐标(pr1+1,qr1)处的像素值,f1(pr1,qr1+1)为第r个波段的子视频单应性变换前坐标(pr1,qr1+1)处的像素值,f1(pr1+1,qr1+1)为第r个波段的子视频单应性变换前坐标(pr1+1,qr1+1)处的像素值。
7.一种基于智能空谱融合的高分辨率视频高光谱成像装置,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,该计算机程序用于被微处理器编程或配置以执行权利要求1~6中任意一项所述基于智能空谱融合的高分辨率视频高光谱成像方法的步骤。
9.一种用于权利要求1~6中任意一项所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,其特征在于,包括主镜(1)、分光棱镜(2)、第一目镜(3)、RGB成像传感器(4)、物镜(5)、微透镜及滤光片阵列(6)、第二目镜(7)和全色CMOS成像传感器(8),所述主镜(1)位于分光棱镜(2)的入光侧光路上,所述分光棱镜(2)将射入得到光线分成两束,其中一束经过第一目镜(3)射入RGB成像传感器(4),另一束依次经过物镜(5)、微透镜及滤光片阵列(6)、第二目镜(7)射入全色CMOS成像传感器(8),所述微透镜及滤光片阵列(6)用于通过透镜将光线复制成多份后分别通过不同的滤光片以通过全色CMOS成像传感器(8)获得高光谱视频不同波段的子视频。
10.根据权利要求9所述的基于智能空谱融合的高分辨率视频高光谱成像方法的成像装置,其特征在于,所述微透镜及滤光片阵列(6)由微透镜阵列和滤光片阵列构成,所述微透镜阵列用于将物镜所成的像复制多份;所述滤光片阵列用于对微透镜阵列所成的像进行滤光,从而获得所需波段的像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210658844.XA CN114757831B (zh) | 2022-06-13 | 2022-06-13 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
PCT/CN2022/124890 WO2023240857A1 (zh) | 2022-06-13 | 2022-10-12 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210658844.XA CN114757831B (zh) | 2022-06-13 | 2022-06-13 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114757831A CN114757831A (zh) | 2022-07-15 |
CN114757831B true CN114757831B (zh) | 2022-09-06 |
Family
ID=82336384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210658844.XA Active CN114757831B (zh) | 2022-06-13 | 2022-06-13 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114757831B (zh) |
WO (1) | WO2023240857A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757831B (zh) * | 2022-06-13 | 2022-09-06 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
CN115018750B (zh) * | 2022-08-08 | 2022-11-08 | 湖南大学 | 中波红外高光谱及多光谱图像融合方法、系统及介质 |
CN115479906A (zh) * | 2022-09-27 | 2022-12-16 | 同济大学 | 基于rgb和高光谱图像融合的碎塑料和微塑料检测方法 |
CN116071237B (zh) * | 2023-03-01 | 2023-06-20 | 湖南大学 | 基于滤光片采样融合的视频高光谱成像方法、系统及介质 |
CN117809193B (zh) * | 2024-03-01 | 2024-05-17 | 江西省林业科学院 | 一种无人机高光谱影像与地物高光谱数据融合方法 |
CN117994624B (zh) * | 2024-04-03 | 2024-06-11 | 聊城大学 | 一种基于可见光和高光谱图像信息融合的目标识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709882A (zh) * | 2020-08-06 | 2020-09-25 | 南京理工大学 | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 |
CN111899166A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 |
CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
CN113421216A (zh) * | 2021-08-24 | 2021-09-21 | 湖南大学 | 一种高光谱融合计算成像方法及系统 |
CN113888491A (zh) * | 2021-09-27 | 2022-01-04 | 长沙理工大学 | 基于非局部特征的多级高光谱图像递进超分方法及系统 |
CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9930316B2 (en) * | 2013-08-16 | 2018-03-27 | University Of New Brunswick | Camera imaging systems and methods |
US20160241797A1 (en) * | 2015-02-17 | 2016-08-18 | Canon Kabushiki Kaisha | Devices, systems, and methods for single-shot high-resolution multispectral image acquisition |
US10600154B2 (en) * | 2018-06-26 | 2020-03-24 | Applied Research, LLC | System and method for generating high-resolution stereo image and depth map |
WO2020160485A1 (en) * | 2019-01-31 | 2020-08-06 | Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California | A hyperspectral imaging system |
CN112634137B (zh) * | 2020-12-28 | 2024-03-05 | 西安电子科技大学 | 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法 |
CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
CN113435243B (zh) * | 2021-05-14 | 2024-06-14 | 西安电子科技大学 | 一种高光谱真实下采样模糊核估计方法 |
CN114757831B (zh) * | 2022-06-13 | 2022-09-06 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
-
2022
- 2022-06-13 CN CN202210658844.XA patent/CN114757831B/zh active Active
- 2022-10-12 WO PCT/CN2022/124890 patent/WO2023240857A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899166A (zh) * | 2020-06-19 | 2020-11-06 | 北京理工大学 | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 |
CN111709882A (zh) * | 2020-08-06 | 2020-09-25 | 南京理工大学 | 基于亚像素卷积与特征分割的超分辨率融合的计算方法 |
CN112700370A (zh) * | 2020-12-29 | 2021-04-23 | 南京理工大学 | 超参数保真与深度先验联合学习的高光谱图像超分辨方法 |
CN113421216A (zh) * | 2021-08-24 | 2021-09-21 | 湖南大学 | 一种高光谱融合计算成像方法及系统 |
CN113902658A (zh) * | 2021-09-01 | 2022-01-07 | 西安电子科技大学 | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 |
CN113888491A (zh) * | 2021-09-27 | 2022-01-04 | 长沙理工大学 | 基于非局部特征的多级高光谱图像递进超分方法及系统 |
Non-Patent Citations (5)
Title |
---|
Multispectral and hyperspectral image fusion with spatial-spectral sparse representation;RenweiDian et al.;《Information Fusion》;20190930;全文 * |
Nonlocal Sparse Tensor Factorization for Semiblind Hyperspectral and Multispectral Image Fusion;Renwei Dian et al.;《IEEE TRANSACTIONS ON CYBERNETICS》;20201031;全文 * |
Recent advances and new guidelines on hyperspectral and multispectral image fusion;RenweiDian et al.;《Information Fusion》;20210531;全文 * |
Regularizing Hyperspectral and Multispectral Image Fusion by CNN Denoiser;Renwei Dian et al.;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20210331;全文 * |
基于残差密集块和自编码网络的红外与可见光图像融合;王建中 等;《北京理工大学学报》;20211031;全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023240857A1 (zh) | 2023-12-21 |
CN114757831A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114757831B (zh) | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 | |
EP2268043B1 (en) | Image processing device, imaging device, method, and program | |
Koundinya et al. | 2D-3D CNN based architectures for spectral reconstruction from RGB images | |
CN103098089B (zh) | 图像超分辨率的方法 | |
EP2652678B1 (en) | Systems and methods for synthesizing high resolution images using super-resolution processes | |
CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
US10147167B2 (en) | Super-resolution image reconstruction using high-frequency band extraction | |
CN102685511B (zh) | 图像处理设备和图像处理方法 | |
CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
EP2731334A1 (en) | Image pickup apparatus and image generating method | |
US20210392313A1 (en) | Image processing apparatus, image processing method, storage medium, manufacturing method of learned model, and image processing system | |
WO2019054092A1 (ja) | 画像生成装置及び画像生成方法 | |
US20070206103A1 (en) | Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data | |
CN112116539A (zh) | 一种基于深度学习的光学像差模糊去除方法 | |
CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
US20240037709A1 (en) | Optical Method | |
CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
Song et al. | Real-scene reflection removal with raw-rgb image pairs | |
Cheng et al. | A mutually boosting dual sensor computational camera for high quality dark videography | |
CN107170013B (zh) | 一种rgb相机光谱响应曲线的标定方法 | |
CN110332991B (zh) | 一种光谱的重构方法、装置和电子设备 | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
Huang et al. | High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model | |
Lam | Compact and thin multi-lens system for machine vision applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |