CN110211044B - 基于去马赛克算法和主成分分析的多光谱成像方法及装置 - Google Patents

基于去马赛克算法和主成分分析的多光谱成像方法及装置 Download PDF

Info

Publication number
CN110211044B
CN110211044B CN201910441784.4A CN201910441784A CN110211044B CN 110211044 B CN110211044 B CN 110211044B CN 201910441784 A CN201910441784 A CN 201910441784A CN 110211044 B CN110211044 B CN 110211044B
Authority
CN
China
Prior art keywords
multispectral
channels
spectrum
principal component
component analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910441784.4A
Other languages
English (en)
Other versions
CN110211044A (zh
Inventor
边丽蘅
傅毫
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910441784.4A priority Critical patent/CN110211044B/zh
Publication of CN110211044A publication Critical patent/CN110211044A/zh
Application granted granted Critical
Publication of CN110211044B publication Critical patent/CN110211044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern

Abstract

本发明公开了一种基于去马赛克算法和主成分分析的多光谱成像方法及装置，其中，方法包括：将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图；利用去马赛克算法对采集数据进行处理，重建得到对应于预设数目通道的完整空域全分辨率图像；通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像。该方法可以利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。

Description

基于去马赛克算法和主成分分析的多光谱成像方法及装置
技术领域
本发明涉及计算摄像学技术领域，特别涉及一种基于去马赛克算法和主成分分析的多光谱成像方法及装置。
背景技术
多光谱成像技术兴起于20世纪80年代，它将光谱技术与成像技术结合在一起，以此获取图像每个像素多个波段的信息。相比普通彩色相机，如RGB相机的三个光谱通道，多光谱成像系统一般包含几十甚至上百个光谱通道，它通过利用传感器在多个连续的窄光谱波段(如可见光波段)上对同一场景进行观测来获得图像，每个光谱波段都可看作是静态灰度图像，分别代表了不同波段的强度信息，不同光谱波段上的图像包含了被观测对象更多的空间信息和光谱信息。多光谱成像技术相比传统的成像技术具有巨大的优势，它能够更加全面、清晰、准确的理解与认识观测目标，因此广泛应用于军事、工业、农业等各方面。获取多光谱的三维数据集有四种基本技术。分别是空间扫描、光谱扫描、空间光谱扫描和快照多光谱成像。各种技术解决方案都是通过牺牲空间分辨率或时间分辨率对光谱分辨率进行补偿，以采集到多光谱信息。如何采集到高时间分辨率、高空间分辨率和高光谱分辨率的图像已经成为计算摄像学的研究热点，这说明这个方向上的研究是重要且有着广泛应用的。
现在主流的单传感器彩色相机是通过在探测器阵列前加一层CFA(color filterarray，彩色滤光阵列)，采集得到一张红、绿、蓝(R、G、B)三个通道不完全空间信息的图像，即马赛克图像，然后通过相应算法补足3个通道缺省的信息，以达到彩色成像的目的。
基于此，有研究通过采用特殊设计MSFA(Multi-spectral Filter Array，多光谱滤光阵列)包含多个通道，再利用去马赛克算法补足各通道缺省的空间信息以达到多光谱成像的目的。由于MSFA相当于对各个通道进行采样，在通道数较少时，可获得效果较好的多光谱图像，一旦通道数增大，则会导致重建效果大幅下降。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
基于上述的马赛克图像算法，同时也有研究采用主成分分析(PCA)的方式先对多光谱数据进行降维，再通过较少次数的测量来恢复多光谱数据。基于此，本发明实施例结合去马赛克算法和PCA来完成多光谱成像。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于去马赛克算法和主成分分析的多光谱成像方法，该方法可以利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
本发明的另一个目的在于提出一种基于去马赛克算法和主成分分析的多光谱成像装置。
为达到上述目的，本发明一方面提出了基于去马赛克算法和主成分分析的多光谱成像方法，包括：将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，所述采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图；利用去马赛克算法对所述采集数据进行处理，重建得到对应于所述预设数目通道的完整空域全分辨率图像；通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像。
本发明实施例的基于去马赛克算法和主成分分析的多光谱成像方法，通过结合了硬件编码耦合和算法解耦重建，即结合了去马赛克算法和主成分分析理论，实现自然场景的空域-谱域信息的联合获取，从而利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
另外，根据本发明上述实施例的基于去马赛克算法和主成分分析的多光谱成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在将所述预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，还包括：设计具有N个通道的所述MSFA，以用于光谱编码耦合。
进一步地，在本发明的一个实施例中，所述重建得到对应于所述预设数目通道的完整空域全分辨率图像，包括：采用所述去马赛克算法对所述采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
进一步地，在本发明的一个实施例中，还包括：根据预设的多光谱数据集并采用PCA的分析方式训练所述多光谱数据集，得到数据集基底。
进一步地，在本发明的一个实施例中，所述对每个空间点的光谱进行并行重建解耦，包括：获取K个数据集基底的系数，以恢复多光谱信息，其中，由所述N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到所述多光谱图像。
为达到上述目的，本发明另一方面提出了一种基于去马赛克算法和主成分分析的多光谱成像装置，包括：集成模块，用于将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，所述采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图；重建模块，用于利用去马赛克算法对所述采集数据进行处理，重建得到对应于所述预设数目通道的完整空域全分辨率图像；成像模块，用于通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像。
本发明实施例的基于去马赛克算法和主成分分析的多光谱成像装置，通过结合了硬件编码耦合和算法解耦重建，即结合了去马赛克算法和主成分分析理论，实现自然场景的空域-谱域信息的联合获取，从而利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
另外，根据本发明上述实施例的基于去马赛克算法和主成分分析的多光谱成像装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：设计模块，在将所述预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，用于设计具有N个通道的所述MSFA，以用于光谱编码耦合。
进一步地，在本发明的一个实施例中，所述重建模块进一步用于采用所述去马赛克算法对所述采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
进一步地，在本发明的一个实施例中，还包括：训练模块，用于根据预设的多光谱数据集并采用PCA的分析方式训练所述多光谱数据集，得到数据集基底。
进一步地，在本发明的一个实施例中，所述成像模块进一步用于获取K个数据集基底的系数，以恢复多光谱信息，其中，由所述N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到所述多光谱图像。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于去马赛克算法和主成分分析的多光谱成像方法的流程图；
图2为根据本发明一个实施例的基于去马赛克算法和主成分分析的多光谱成像方法的流程图；
图3为根据本发明一个实施例的6通道MSFA示例图；
图4为根据本发明一个实施例的MSFA与探测器阵列集成示意图；
图5为根据本发明一个实施例的6通道MSFA和探测器阵列集成示意图；
图6为根据本发明一个实施例的多光谱图像的解耦重建步骤示意图；
图7为根据本发明实施例的基于去马赛克算法和主成分分析的多光谱成像装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于去马赛克算法和主成分分析的多光谱成像方法及装置，首先将参照附图描述根据本发明实施例提出的基于去马赛克算法和主成分分析的多光谱成像方法。
图1是本发明一个实施例的基于去马赛克算法和主成分分析的多光谱成像方法的流程图。
如图1所示，该基于去马赛克算法和主成分分析的多光谱成像方法包括以下步骤：
在步骤S101中，将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图。
其中，预设数目可以理解为特定数目，本领域技术人员可以根据实际情况进行设置，在此不做具体限定。可以理解的是，如图2所示，本发明实施例通过设计具有特定数目通道的宽谱段多光谱滤光阵列(MSFA)并将其集成到探测器前，于是探测器采集到的数据为与MSFA相对应的马赛克图
进一步地，在本发明的一个实施例中，在将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，还包括：设计具有N个通道的MSFA，以用于光谱编码耦合。
可以理解的是，设计具有N个通道的宽谱段多光谱滤光阵列(MSFA)，用于光谱编码耦合，例如，如图3为MSFA的一个示例，其中，MSFA具有6个通道。常用的设计方法包括但不仅限于：随机分布法、均匀分布法、基于二叉树分布法等。然后，如图4所示，将设计得到的MSFA与探测器集成，得到硬件的光谱成像探测器，采集得到经过光谱调制耦合后的马赛克图像，例如，图5为本发明实施例将MSFA集成到探测器上的示例图。
具体而言，由于不同数量的通道对应有相应数量的不同的掩膜调制单元，MSFA的设计就是将这些特定数量的掩膜调制单元分布到一个阵列中，其中方法包括但不限于随机分布法、均匀分布法、基于二叉树分布法等。
随机分布法是将不同的掩膜调制单元等概率的随机分布在滤光阵列上；均匀分布法是将不同的掩膜调制单元按一定的排列规则分布在滤光阵列上，常用的排列规则有垂直条状分布法(即每一列是一种掩膜调制单元)、对角线分布法(即按对角线分布，每一条线上是一种掩膜调制单元)；基于二叉树的分布法是指将不同掩膜调制单元出现的概率按二叉树进行计算，然后再分布在阵列中，每种掩膜调制单元出现的概率并不一定相同，这取决于通道的数量。
使用本发明实施例时，不同空间位置的光线经过MSFA后，由不同的光谱曲线进行光谱耦合积分，得到一张马赛克图像，在此基础上采用去马赛克算法进行N个光谱调制通道图像的恢复。马赛克图像的数学模型如下，
y＝Ax (s1)
其中，A是MSFA调制矩阵，x是场景N个光谱调制通道的图像序列集合，y是采集到的马赛克图像，马赛克图像相当于对每个光谱调制通道进行了采样。
需要说明的是，如图6所示，本发明实施例结合了硬件编码光谱耦合和算法解耦重建，实现自然场景的空域-谱域信息的联合获取。其中，解耦重建，包含两部分：即去马赛克空域全分辨率重建与主成分分析谱域高精度重建，下面将分别进行详细介绍。
在步骤S102中，利用去马赛克算法对采集数据进行处理，重建得到对应于预设数目通道的完整空域全分辨率图像。
可以理解的是，如图2所示，本发明实施例可以利用去马赛克算法对采集数据进行处理，从而重建得到对应于特定数目通道的完整空域全分辨率图像。也就是说，探测器阵列采集到马赛克图像后，本发明实施例采用去马赛克算法重建N个通道的完整空域全分辨率图像。
进一步地，在本发明的一个实施例中，重建得到对应于预设数目通道的完整空域全分辨率图像，包括：采用去马赛克算法对采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
其中，其中去马赛克算法主要包括但不仅限于以下列出的算法。基于空域的算法主要有：基于梯度的算法、组成一致的算法、基于模板匹配的算法、自适应加权边缘算法和基于局部协方差的算法；基于频域的算法主要有：频率选择去马赛克算法、联合频率和空间分析的去马赛克算法；基于压缩感知的算法；基于深度学习的算法等。
具体而言，在步骤S101的基础上，本发明实施例采用去马赛克算法重建N个光谱调制通道的完整空域全分辨率图像。其中去马赛克的算法主要包括但不仅限于基于空域的算法、基于频域的算法、基于压缩感知的算法和基于深度学习的算法等。
基于空域的算法主要有基于梯度的算法、组成一致的算法、基于模板匹配的算法、自适应加权边缘算法和基于局部协方差的算法等，它们都是利用图像在空间上的局部相关性对每个通道进行插值的。基于梯度的算法是分别求出水平和垂直方向的梯度，然后向梯度较小的方向进行插值；组成一致的算法是在基于梯度算法的基础上采用了更大的邻域(如3×3邻域)进行梯度估计，然后再插值；基于模板匹配的算法先把邻域按特点分成不同的组，然后根据特定规则(如局部均值比较)对不同组进行插值；自适应加权边缘算法是集合基于梯度和基于模板匹配的一种算法，它是先计算邻域中点的权重，然后按权重进行插值；基于局部协方差的算法是通过计算局部的协方差来利用图像的空间相关性进行插值重建，而不是像上述算法依靠方向梯度进行的插值重建。
基于频域的算法是将马赛克图像先转换到傅里叶域，然后进行相应的滤波处理，最后在进行逆变换求出图像的亮度和色度信息，进而求出各个通道的空间信息。基于压缩感知的算法主要是利用稀疏性这一先验信息进行重建的。常用的算法有变换域算法(如DCT(Discrete Cosine Transform，离散余弦变换)、小波变换等)，这一算法首先将图像变换到相应的变换域中，然后利用稀疏性进行求解；基于TV(Total Variation，总变分)的算法是另一种常用的算法，它是通过最小化图像梯度的l1范数进行求解的。基于深度学习的算法主要有基于CNN(Convolutional Neural Networks，卷积神经网络)和基于GAN(GenerativeAdversarial Nets，生成对抗网络)两种方式。他们的区别在于基于CNN的算法是属于监督学习，它以马赛克图为输入，全通道的完整空域图为输出训练神经网络；基于GAN的算法属于无监督学习，生成网络中输入为马赛克图像，输出全通道图像，判别网络则判断生成网络的输出和真实的全通道图像的相似性，以此训练神经网络。
在步骤S103中，通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像。
可以理解的是，如图2所示，场景的每一个空间点包含有N个通道值，在此基础上，基于主成分分析理论，对每个空间点的光谱进行并行重建解耦，最终实现多光谱成像。
进一步地，在本发明的一个实施例中，还包括：根据预设的多光谱数据集并采用PCA的分析方式训练多光谱数据集，得到数据集基底。
可以理解的是，本发明实施例基于已有的多光谱数据集，采用PCA的分析方式训练该数据集，得到一组相应的数据集基底。根据统计学理论可知，自然界中材料的光谱的内在信息维度是较低的，因此可以用K个训练的基底线性表示任一光谱。
进一步地，在本发明的一个实施例中，对每个空间点的光谱进行并行重建解耦，包括：获取K个数据集基底的系数，以恢复多光谱信息，其中，由N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到多光谱图像。
可以理解的是，本发明实施例采用主成分分析方法对谱域信息进行高精度重建，只需求得K个训练基底的系数即可恢复出真实的多光谱信息。由N个通道的完整空域全分辨率图像数据可知每个空间点上包含N个测量结果，通过相应的算法可求出K个系数，实现每个空间点光谱的重构，最终获得多光谱图像。其中计算系数的算法主要包括但不限于已下列出的算法：直接求逆法、二次规划算法、梯度下降算法、共轭梯度下降算法、泊松最大似然算法、交替投影算法、压缩感知算法等。
具体而言，在步骤S102的基础上，根据去马赛克算法重建得到N个光谱调制通道的图像序列。接下来，需要从这N个图像序列中重建每个空间点的光谱。给定任意一个待测光谱为r(λ),则对应的光谱调制耦合的测量值模型为
yi＝∫λdi(λ)r(λ)c(λ)dλ (s2)
其中，r(λ)是场景的反射光谱，di(λ)为MSFA阵列上对应空间点的光谱，c(λ)为相机光谱。由统计学可知，自然界中材料的光谱内在维度是较低的，PCA对于降维是一个有效的工具。首先采用PCA训练一组多光谱数据，得到这组数据的基底。因此真实的多光谱数据可以很好地从以下公式中线性表示：
Figure BDA0002072235140000071
其中，bk(λ)是训练的基底中的第k个基，αk是对应基底的系数。基于此，测量的模型转变为：
Figure BDA0002072235140000072
从数学上看，可以通n次测量结果计算出k个系数。假设采用的是具有n个通道的MSFA，通过去马赛克算法对图像进行重建后，每个空间点上则包含n个通道的值，相当于n次测量结果，因此可以据此求出相应系数αk，再利用公式s3就可以重建出多光谱信息。其具体推导如下。
假设测量结果为yi,(i＝1,2,…n)，假设
Figure BDA0002072235140000073
同时令α＝[α1 α2 … αk]T，y＝[y1 y2 … yk]T，则y＝Fα。进一步用以下方式来求取α的最优值：
Figure BDA0002072235140000074
其中β是平滑参数，该模型可采用多种算法求解，本发明实施例中采用的二次规划求解。最后利用公式s3解耦出多光谱数据，实现多光谱成像。
根据本发明实施例提出的基于去马赛克算法和主成分分析的多光谱成像方法，通过结合了硬件编码耦合和算法解耦重建，即结合了去马赛克算法和主成分分析理论，实现自然场景的空域-谱域信息的联合获取，从而利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
其次参照附图描述根据本发明实施例提出的基于去马赛克算法和主成分分析的多光谱成像装置。
图7是本发明一个实施例的基于去马赛克算法和主成分分析的多光谱成像装置。
如图7所示，该基于去马赛克算法和主成分分析的多光谱成像装置10包括：集成模块100、重建模块200和成像模块300。
其中，集成模块100用于将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图。重建模块200用于利用去马赛克算法对采集数据进行处理，重建得到对应于预设数目通道的完整空域全分辨率图像；成像模块300用于通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像。本发明实施例的装置10可以利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：设计模块。其中，设计模块在将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，用于设计具有N个通道的MSFA，以用于光谱编码耦合。
进一步地，在本发明的一个实施例中，重建模块200进一步用于采用去马赛克算法对采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：训练模块，其中，训练模块用于根据预设的多光谱数据集并采用PCA的分析方式训练多光谱数据集，得到数据集基底。
进一步地，在本发明的一个实施例中，成像模块300进一步用于获取K个数据集基底的系数，以恢复多光谱信息，其中，由N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到多光谱图像。
需要说明的是，前述对基于去马赛克算法和主成分分析的多光谱成像方法实施例的解释说明也适用于该基于去马赛克算法和主成分分析的多光谱成像装置，此处不再赘述。
根据本发明实施例提出的基于去马赛克算法和主成分分析的多光谱成像装置，通过结合了硬件编码耦合和算法解耦重建，即结合了去马赛克算法和主成分分析理论，实现自然场景的空域-谱域信息的联合获取，从而利用去马赛克算法在通道数较少时的良好重建结果和主成分分析降维的作用，实现多光谱成像。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于去马赛克算法和主成分分析的多光谱成像方法，其特征在于，包括：
将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，所述采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图；在将所述预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，还包括：设计具有N个通道的所述MSFA，以用于光谱编码耦合；
利用去马赛克算法对所述采集数据进行处理，重建得到对应于所述预设数目通道的完整空域全分辨率图像；以及
通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像；所述对每个空间点的光谱进行并行重建解耦，包括：获取K个数据集基底的系数，以恢复多光谱信息，其中，由所述N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到所述多光谱图像。
2.根据权利要求1所述的方法，其特征在于，所述重建得到对应于所述预设数目通道的完整空域全分辨率图像，包括：
采用所述去马赛克算法对所述采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
3.根据权利要求2所述的方法，其特征在于，还包括：
根据预设的多光谱数据集并采用PCA的分析方式训练所述多光谱数据集，得到数据集基底。
4.一种基于去马赛克算法和主成分分析的多光谱成像装置，其特征在于，包括：
集成模块，用于将预设数目通道的宽谱段多光谱滤光阵列集成到探测器前，得到采集数据，其中，所述采集数据为与宽谱段多光谱滤光阵列MSFA相对应的马赛克图；
设计模块，在将所述预设数目通道的宽谱段多光谱滤光阵列集成到探测器前之前，用于设计具有N个通道的所述MSFA，以用于光谱编码耦合；
重建模块，用于利用去马赛克算法对所述采集数据进行处理，重建得到对应于所述预设数目通道的完整空域全分辨率图像；以及
成像模块，用于通过主成分分析理论并利用MSFA的光谱调制特征和每个空间点光谱调制数据，对每个空间点的光谱进行并行重建解耦，得到多光谱图像；所述成像模块进一步用于获取K个数据集基底的系数，以恢复多光谱信息，其中，由所述N个通道的完整空域全分辨率图像数据得到每个空间点上包含N个测量结果，以求出K个系数，实现每个空间点光谱的重构，得到所述多光谱图像。
5.根据权利要求4所述的装置，其特征在于，所述重建模块进一步用于采用所述去马赛克算法对所述采集数据进行计算重建，得到N个通道的完整空域全分辨率图像。
6.根据权利要求5所述的装置，其特征在于，还包括：
训练模块，用于根据预设的多光谱数据集并采用PCA的分析方式训练所述多光谱数据集，得到数据集基底。
CN201910441784.4A 2019-05-24 2019-05-24 基于去马赛克算法和主成分分析的多光谱成像方法及装置 Active CN110211044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910441784.4A CN110211044B (zh) 2019-05-24 2019-05-24 基于去马赛克算法和主成分分析的多光谱成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910441784.4A CN110211044B (zh) 2019-05-24 2019-05-24 基于去马赛克算法和主成分分析的多光谱成像方法及装置

Publications (2)

Publication Number Publication Date
CN110211044A CN110211044A (zh) 2019-09-06
CN110211044B true CN110211044B (zh) 2021-03-23

Family

ID=67788654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441784.4A Active CN110211044B (zh) 2019-05-24 2019-05-24 基于去马赛克算法和主成分分析的多光谱成像方法及装置

Country Status (1)

Country Link
CN (1) CN110211044B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909301B (zh) * 2019-11-19 2024-02-20 吉林大学 基于梯度方向构建的插值方法
CN111489313B (zh) * 2020-04-13 2023-10-31 湖南国科微电子股份有限公司 一种cfa图像去马赛克方法及装置
CN111968075B (zh) * 2020-07-21 2022-11-08 天津大学 一种基于高光谱的种植物成熟度检测系统及方法
EP4181509A4 (en) * 2020-07-27 2023-08-09 Huawei Technologies Co., Ltd. FILTER MATRIX, MOBILE TERMINAL, AND DEVICE
CN112927161B (zh) * 2021-03-12 2022-07-01 新疆大学 一种多光谱遥感图像的增强方法、装置及存储介质
CN113486906B (zh) * 2021-07-07 2024-01-09 西北工业大学 快照式光谱图像的马赛克空谱梯度方向直方图提取方法
CN114240776B (zh) * 2021-12-12 2024-03-12 西北工业大学 一种针对msfa高光谱图像的去马赛克与压缩融合框架

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5087867B2 (ja) * 2006-07-04 2012-12-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN201138389Y (zh) * 2007-12-29 2008-10-22 中国科学院长春光学精密机械与物理研究所 一种空间遥感成像仪的视场分束器
KR101523337B1 (ko) * 2012-09-20 2015-05-28 주식회사 바이오센 라만 분광법 및 케모메트릭스를 이용한 식물의 바이러스 감염에 대한 분석방법
WO2017000069A1 (en) * 2015-06-30 2017-01-05 Spectral Devices Inc. Flexible pixelated fabry-perot filter

Also Published As

Publication number Publication date
CN110211044A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110211044B (zh) 基于去马赛克算法和主成分分析的多光谱成像方法及装置
EP2899690B1 (en) Random imaging
EP2263373B1 (en) Generalized assorted pixel camera systems and methods
US20170205337A1 (en) Compact Multifunctional System for Imaging Spectroscopy
Mizutani et al. Multispectral demosaicking algorithm based on inter-channel correlation
CN107727231B (zh) 一种对光谱成像仪条带噪声进行修正的方法
Tao et al. Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering
US10237519B2 (en) Imaging apparatus, imaging system, image generation apparatus, and color filter
Mahajan et al. A comparative analysis of different image fusion techniques
US7589772B2 (en) Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data
WO2021110262A1 (en) Noise reconstruction for image denoising
CN113008370B (zh) 基于液晶高光谱计算成像系统的三维自适应压缩重构方法
CN116309126B (zh) 基于自回归模型的五波段多光谱图像重建方法
CN110443865B (zh) 基于rgb相机和深度神经网络的多光谱成像方法和装置
CN110579279A (zh) 单传感器的九谱段多光谱成像系统的设计方法
CN110335197B (zh) 基于非局部统计本征的去马赛克方法
KR20190036459A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN116029930A (zh) 一种基于卷积神经网络的多光谱图像去马赛克方法
CN114972803A (zh) 一种基于联合优化的快照式光谱成像方法和系统
CN112784747B (zh) 高光谱遥感图像多尺度本征分解方法
Pan et al. Deep panchromatic image guided residual interpolation for multispectral image demosaicking
CN108830793B (zh) 一种高分辨率遥感图像辐射重建方法
CN112989593B (zh) 基于双相机的高光谱低秩张量融合计算成像方法
Shivagunde et al. Single image super-resolution based on modified interpolation method using MLP and DWT
Beitollahi et al. Using Savitsky-Golay filter and interval curve fitting in order to hyperspectral data compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant