CN115014522B - 集成式计算光谱成像方法及装置 - Google Patents
集成式计算光谱成像方法及装置 Download PDFInfo
- Publication number
- CN115014522B CN115014522B CN202210764166.5A CN202210764166A CN115014522B CN 115014522 B CN115014522 B CN 115014522B CN 202210764166 A CN202210764166 A CN 202210764166A CN 115014522 B CN115014522 B CN 115014522B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- spectral
- modulation
- imaging
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 180
- 238000003384 imaging method Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 title claims abstract description 12
- 239000000463 material Substances 0.000 claims abstract description 47
- 230000008878 coupling Effects 0.000 claims abstract description 44
- 238000010168 coupling process Methods 0.000 claims abstract description 44
- 238000005859 coupling reaction Methods 0.000 claims abstract description 44
- 230000003595 spectral effect Effects 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 5
- 238000000701 chemical imaging Methods 0.000 claims description 25
- 238000005516 engineering process Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 17
- 238000013461 design Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000002834 transmittance Methods 0.000 claims description 6
- 230000008021 deposition Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000001259 photo etching Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 abstract description 2
- 238000007906 compression Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000004907 flux Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012306 spectroscopic technique Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明提出一种集成式计算光谱成像方法及装置，其中方法包括，设计并制备光谱调制掩膜，其中光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；将光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；使用所光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；使用解耦算法从光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像。本发明利用了光谱调制材料的谱域压缩特性，同时结合深度学习和压缩感知理论，实现了高光谱数据的快速采集和重建。
Description
技术领域
本发明属于计算成像和图像处理领域，旨在提出高精度、易集成、低成本、高帧率的高光谱图像传感器。
背景技术
高光谱成像技术是将目标场景的光谱特征密集采样到多个光谱窄带，它将成像技术与光谱技术相结合，检测目标场景的二维空间信息和一维光谱信息，并将获取的信息存储到一系列图片中，这些图片包括空间维度和光谱维度。高光谱成像技术不仅在遥感遥测、航空航天、医疗诊断等领域应用广泛，而且在众多计算机视觉任务中得到了广泛应用，如目标检测、目标跟踪、物品分类、人脸识别等。自20世纪末以来光谱成像技术在航空航天、卫星遥感、农林保护和地质勘测领域得到了广泛的应用，然而对于光谱成像系统的小型化和集成化一直是一个难以解决的问题。
现有的光谱成像技术主要分为传统的机械扫描式和目前研究较多的快照式。扫描式光谱成像系统一次只能获得光谱维或空间维一个维度的信息，需要引入额外的光学器件(如可调谐液晶滤波器、声光可调滤波器、棱镜、光栅等)对入射光进行分光，并通过机械扫描的方式在空域或谱域进行扫描，多次采集后组合得到高光谱立方体。扫描式成像设备通常体积庞大，难以小型化和集成化，成像速度较慢，以牺牲时间分辨率的代价获得了光谱分辨率，难以实现动态成像。代表产品有芬兰SPECIM公司的FX系列高光谱相机，但由于机械式扫描耗时较大，FX系列相机的光谱成像帧率仅为1.5fps，因此无法满足实时场景的应用需求，尤其是在目标跟踪、环境检测进和工业质检等领域中。
近年来随着压缩感知技术的发展，研究人员将目标转向了快照式高光谱成像系统。快照式高光谱成像系统可以在单曝光情况下同时获取目标场景的空间信息和光谱信息，大大提高了成像系统的动态性能。快照式成像系统主要依托于计算成像学理论，目前的技术大致可以分为：计算层析式快照光谱相机技术、编码光圈型快照光谱相机技术、棱镜掩膜型快照光谱相机技术和超像素型快照光谱相机技术。快照型光谱相机的代表产品有中国LightGene的LightGene-UAV和欧洲IMEC的SM4×4系列。其中，LightGene-UAV由于预制掩膜的遮光效应，因此系统光通量较低，对使用环境光照要求较高；SM4×4系列由于使用了“超像素”的概念，因此空间分辨率较差。快照型光谱感知通常需要牺牲成像的空间分辨率和光通量，无法实现高清成像及夜晚环境下的成像任务。综上所述，现有光谱成像设备均需在性能、便携等指标之间折中且功能单一，未来光谱成像技术将朝着集成化、高通量、智能化的方向发展。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种集成式计算光谱成像方法，用于实现高光谱数据的快速采集和重建。
本发明的第二个目的在于提出一种集成式计算光谱成像装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种集成式计算光谱成像方法，包括：
设计并制备光谱调制掩膜，其中所述光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
将所述光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
使用所述光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；
使用解耦算法从所述光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像。
本发明实施例提出的集成式计算光谱成像方法，通过揭示多维场景信息耦合机理，提出良态化复用调制的最优化掩码设计方案；针对光谱材料制备与传感器集成需要，提出高精度高均匀性滤光膜阵列集成工艺；研发了大规模光谱图像嵌入式轻量化重建方法，从耦合采集数据中解耦大规模高光谱图像；针对计算平台进行硬件级计算优化，提高集成化和高效运算能力。
另外，根据本发明上述实施例的集成式计算光谱成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述设计光谱调制掩膜，包括：
分析不同光谱调制效果的差异性，根据所述差异性选择调制效果最优的光谱调制材料组合，以通过光谱调制过程充分保留物体的宽带光谱信息。
进一步地，在本发明的一个实施例中，设计光谱调制掩膜，包括：
优化光谱调制材料的空间排列，通过所述空间排列保留更多的光谱信息和空间信息。
进一步地，在本发明的一个实施例中，设计并制备光谱调制掩膜，包括：
通过高精度加工工艺制备光谱调制掩模，所述高精度加工工艺包括微纳米沉积打印技术、微纳压印技术、光刻加工技术。
进一步地，在本发明的一个实施例中，所述解耦算法，包括：
构建大规模高光谱数据与马赛克耦合数据的数据集，通过所述数据集表征耦合数据与高光谱数据之间的关系，通过压缩感知、深度学习方法实现高光谱图像重建。
进一步地，在本发明的一个实施例中，所述数据集表征耦合数据与高光谱数据之间的关系，表示为：
其中，I(x，y)表示计算光谱成像器件采集的耦合图像，其中(x，y)表示空间位置；φ(x，y，λ)表示对应像素点处光谱调制材料的透过率函数，λ表示对应的波长，Ω表示光谱成像范围；H(x，y，λ)表示场景光谱信息；
将所述光谱成像范围离散为N个通道，离散化后的公式为：
其中，λi表示离散化后的光谱通道数，通道数总量为N。
为达上述目的，本发明第二方面实施例提出了一种集成式计算光谱成像装置，其特征在于，包括以下模块：
设计模块，用于设计并制备光谱调制掩膜，其中所述光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
集成模块，用于将所述光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
采集模块，用于使用所述光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；解耦模块，用于使用解耦算法从所述光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的集成式计算光谱成像方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的集成式计算光谱成像方法。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种集成式计算光谱成像方法的流程示意图。
图2为本发明实施例所提供的一种计算光谱成像设备主体架构示意图。
图3为本发明实施例所提供的光谱材料的光谱透过性曲线示意图。
图4为本发明实施例所提供的设计流程示意图。
图5为本发明实施例所提供的深度解耦算法流程示意图。
图6为本发明实施例所提供的集成式计算光谱成像装置的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的集成式计算光谱成像方法和装置。
实施例1
图1为本发明实施例所提供的一种集成式计算光谱成像方法的流程示意图。
如图1所示，该集成式计算光谱成像方法包括以下步骤：
S101：设计并制备光谱调制掩膜，其中光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
S102：将光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
S103：使用光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；
S104：使用解耦算法从光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像。
进一步地，在本发明的一个实施例中，设计光谱调制掩膜，包括：
分析不同光谱调制效果的差异性，根据差异性选择调制效果最优的光谱调制材料组合，以通过光谱调制过程充分保留物体的宽带光谱信息。
进一步地，在本发明的一个实施例中，设计光谱调制掩膜，包括：
优化光谱调制材料的空间排列，通过空间排列保留更多的光谱信息和空间信息。
进一步地，在本发明的一个实施例中，设计并制备光谱调制掩膜，包括：
通过高精度加工工艺制备光谱调制掩模，高精度加工工艺包括微纳米沉积打印技术、微纳压印技术、光刻加工技术。
进一步地，在本发明的一个实施例中，解耦算法，包括：
构建大规模高光谱数据与马赛克耦合数据的数据集，通过数据集表征耦合数据与高光谱数据之间的关系，通过压缩感知、深度学习方法实现高光谱图像重建。
进一步地，在本发明的一个实施例中，数据集表征耦合数据与高光谱数据之间的关系，表示为：
其中，I(x，y)表示计算光谱成像器件采集的耦合图像，其中(x，y)表示空间位置；φ(x，y，λ)表示对应像素点处光谱调制材料的透过率函数，λ表示对应的波长，Ω表示光谱成像范围；H(x，y，λ)表示场景光谱信息；
将所述光谱成像范围离散为N个通道，离散化后的公式为：
其中，λi表示离散化后的光谱通道数，通道数总量为N。
实施例2
本发明采用的光谱材料的调制范围为400-1000nm，对应的CCD图像传感器的空间分辨率为1024*1024，并对400-1000nm范围内的光具有较强的响应。本发明设计的主要技术示意图如图2所示。本发明选取的光谱调制材料，如图3所示，光谱调制材料对不同波长的光具有选择透过性，其在光谱维度具有调制压缩效果。本发明将光谱调制材料按照良态化空间优化结构分布在透明衬底上得到光谱调制掩模，当入射光经过光谱调制掩模时会发生调制作用，通过CCD灰度图像传感器采集耦合数据，然后通过深度解耦网络从耦合数据中重建高光谱图像。场景光谱数据和耦合图像之间的关系为：
其中，I(x，y)表示计算光谱成像器件采集的耦合图像，其中(x，y)表示空间位置；φ(x，y，λ)表示对应像素点处光谱调制材料的透过率函数，λ表示对应的波长，Ω表示光谱成像范围；H(x，y，λ)表示场景光谱信息；
将所述光谱成像范围离散为N个通道，离散化后的公式为：
其中，λi表示离散化后的光谱通道数，通道数总量为N，光谱范围同样为400nm-1000nm。该过程可以看做压缩采样过程，将多维高光谱图像耦合压缩为一维的马赛克图像，我们的目的是设计符合良态化空间耦合和谱域耦合的采样矩阵φ，并通过解耦合算法从一维耦合数据中重建高光谱图像。本发明的主要实现步骤如下所示：
S201：如图3所示，选取具有良好光谱调制效果的光谱调制材料，光谱调制材料对不同波长的光具有选择透过性，将每种材料的光谱响应函数表示为向量a，向量长度为光谱通道数N，通过光谱角制图(Spectral Angle Mapping,SAM)计算不同光谱向量之间的相关性，如以下公式所示：
光谱角制图表示两个光谱响应向量的角度，数值越小表示两个向量相关性越小，选取相关性最小的光谱调制材料用于光谱掩模的制备。
S202：围绕高光谱复用计算传感问题，针对传感器成像性能高的特点，需要研究耦合器件的优化设计方案，尤其是良态化空间耦合以及良态化谱域耦合。研究滤光膜上滤光材料的种类以及空间排列方式对空间信息耦合采集的影响，尤其是排列方式对空间结构和空间边缘等高频信息的保持作用，优化后的空间耦合方式将最大化采集数据的信息含量。
S203：通过高精度的移动操作平台，采用新型微纳米材料沉积技术，实现高精度、高均匀性滤光掩膜的低成本、批量化生产。通过优化集成式方法，保证图像传感器像元、光谱调制膜与场景光谱之间的强对应关系；构建便捷的高光谱图像采集系统，实现对自然场景的光谱采集。
S204：针对传感器实时成像的特点，研究大规模高光谱信息解耦重建算法，提出一种通用性深度解耦算法流程，如图5所示。通过构建耦合图像与高光谱图像的数据集，建立采样数据与场景光谱数据之间的对应关系，通过浅层特征提取、深层特征提取、图像增强重建等步骤，获得从压缩耦合图像到高光谱图像之间的映射关系，然后将训练得到的模型运用到场景光谱快速重建中。
S205：为了提高上述算法的适用性，针对嵌入式平台的应用需求，采用蒸馏和剪枝技术以压缩网络模型，并针对硬件计算平台密集指令以及密集计算优化软硬件架构设计，发挥软硬件效能，实现轻量化解耦重建。
如图4所示，本发明通过S201-S205提出了一种集成式计算光谱成像方法、装置与系统，并提出一种用于从耦合数据中高精度重建高光谱图像的深度解耦算法，实现了从目标场景中快速采集空谱信息。
本发明选取宽带调制材料，是指选取的材料在较宽的光谱范围内具有调制作用，即对不同波长的光的吸收率不同。与之相对的是窄带调制材料，例如，窄带滤波器只能透过某个特定波长的光，其缺点是牺牲了光通量，信噪比较低，因此，需要较长的曝光时间提高感知图像的强度和减少环境噪声。宽带的光谱调制材料的优点是大大提高了光通量，提高了成像速度。同时还保证了耦合成像时，场景光谱信息尽可能得到保留。因此可以实现动态成像。
本发明实施例提出的集成式计算光谱成像方法，通过揭示多维场景信息耦合机理，提出良态化复用调制的最优化掩码设计方案；针对光谱材料制备与传感器集成需要，提出高精度高均匀性滤光膜阵列集成工艺；研发了大规模光谱图像嵌入式轻量化重建方法，从耦合采集数据中解耦大规模高光谱图像；针对计算平台进行硬件级计算优化，提高集成化和高效运算能力。
为了实现上述实施例，本发明还提出一种集成式计算光谱成像装置。
图6为本发明实施例提供的一种集成式计算光谱成像装置的结构示意图。
如图6所示，该集成式计算光谱成像装置包括：设计模块100，集成模块200，采集模块300，解耦模块400，
其中，设计模块，用于设计并制备光谱调制掩膜，其中光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
集成模块，用于将光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
采集模块，用于使用光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；
解耦模块，用于使用解耦算法从光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的多光谱传感器标定方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的多光谱传感器标定方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种集成式计算光谱成像方法，其特征在于，包括以下步骤：
设计并制备光谱调制掩膜，其中所述光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
将所述光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
使用所述光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；
使用解耦算法从所述光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像；
其中，所述设计并制备光谱调制掩膜，包括：
分析不同光谱调制效果的差异性，根据所述差异性选择调制效果最优的光谱调制材料组合，以通过光谱调制过程充分保留物体的宽带光谱信息；
每种材料对应一种光谱调制向量，将每种材料的光谱响应函数表示为向量a，向量长度为光谱通道数N，通过光谱角制图计算不同光谱向量之间的相关性，如以下公式所示：
光谱角制图表示两个光谱响应向量的角度，数值越小表示两个向量相关性越小，选择相关性最小的一组宽光谱材料作为光谱调制材料；
其中，所述解耦算法，包括：
构建大规模高光谱数据与马赛克耦合数据的数据集，通过所述数据集表征耦合数据与高光谱数据之间的关系，通过压缩感知、深度学习方法实现高光谱图像重建；
其中，所述数据集表征耦合数据与高光谱数据之间的关系，表示为：
其中，I(x，y)表示计算光谱成像器件采集的耦合图像，其中(x，y)表示空间位置；φ(x，y，λ)表示对应像素点处光谱调制材料的透过率函数，λ表示对应的波长，Ω表示光谱成像范围；H(x，y，λ)表示场景光谱信息；
将所述光谱成像范围离散为N个通道，离散化后的公式为：
其中，λi表示离散化后的光谱通道数，通道数总量为N。
2.根据权利要求1所述的方法，其特征在于，设计光谱调制掩膜，包括：
优化光谱调制材料的空间排列，通过所述空间排列保留更多的光谱信息和空间信息。
3.根据权利要求1中所述的方法，其特征在于，设计并制备光谱调制掩膜，包括：
通过高精度加工工艺制备光谱调制掩模，所述高精度加工工艺包括微纳米沉积打印技术、微纳压印技术、光刻加工技术。
4.一种集成式计算光谱成像装置，其特征在于，包括以下模块：
设计模块，用于设计并制备光谱调制掩膜，其中所述光谱调制掩膜包含多类光谱材料的空间分布和光谱分布；
集成模块，用于将所述光谱调制掩膜集成于阵列传感器，形成光谱采集传感器；
采集模块，用于使用所述光谱采集传感器通过曝光成像采集目标场景信息，获取光谱耦合数据；
解耦模块，用于使用解耦算法从所述光谱耦合数据中解耦不同空间点的光谱信息，进行集成式计算光谱成像；
其中，所述设计模块，还用于：
分析不同光谱调制效果的差异性，根据所述差异性选择调制效果最优的光谱调制材料组合，以通过光谱调制过程充分保留物体的宽带光谱信息；
每种材料对应一种光谱调制向量，将每种材料的光谱响应函数表示为向量a，向量长度为光谱通道数N，通过光谱角制图计算不同光谱向量之间的相关性，如以下公式所示：
光谱角制图表示两个光谱响应向量的角度，数值越小表示两个向量相关性越小，选择相关性最小的一组宽光谱材料作为光谱调制材料；
其中，所述解耦算法，包括：
构建大规模高光谱数据与马赛克耦合数据的数据集，通过所述数据集表征耦合数据与高光谱数据之间的关系，通过压缩感知、深度学习方法实现高光谱图像重建；
其中，所述数据集表征耦合数据与高光谱数据之间的关系，表示为：
其中，I(x，y)表示计算光谱成像器件采集的耦合图像，其中(x，y)表示空间位置；φ(x，y，λ)表示对应像素点处光谱调制材料的透过率函数，λ表示对应的波长，Ω表示光谱成像范围；H(x，y，λ)表示场景光谱信息；
将所述光谱成像范围离散为N个通道，离散化后的公式为：
其中，λi表示离散化后的光谱通道数，通道数总量为N。
5.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3中任一所述的集成式计算光谱成像方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的集成式计算光谱成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210764166.5A CN115014522B (zh) | 2022-06-30 | 2022-06-30 | 集成式计算光谱成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210764166.5A CN115014522B (zh) | 2022-06-30 | 2022-06-30 | 集成式计算光谱成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115014522A CN115014522A (zh) | 2022-09-06 |
| CN115014522B true CN115014522B (zh) | 2023-08-11 |
Family
ID=83078975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210764166.5A Active CN115014522B (zh) | 2022-06-30 | 2022-06-30 | 集成式计算光谱成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115014522B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036294A (zh) * | 2014-06-18 | 2014-09-10 | 西安电子科技大学 | 基于光谱标记的多光谱遥感图像自适应分类方法 |
| CN106840398A (zh) * | 2017-01-12 | 2017-06-13 | 南京大学 | 一种多光谱光场成像方法 |
| CN107870383A (zh) * | 2016-09-28 | 2018-04-03 | 中国科学院苏州纳米技术与纳米仿生研究所 | 二元滤光片及其制作方法 |
| KR20180137795A (ko) * | 2017-06-19 | 2018-12-28 | 광주과학기술원 | 하이퍼스펙트럼 이미지 장치 |
| CN114659634A (zh) * | 2022-03-31 | 2022-06-24 | 西安交通大学 | 微型快照式压缩光谱成像探测装置及探测方法 |
-
2022
- 2022-06-30 CN CN202210764166.5A patent/CN115014522B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036294A (zh) * | 2014-06-18 | 2014-09-10 | 西安电子科技大学 | 基于光谱标记的多光谱遥感图像自适应分类方法 |
| CN107870383A (zh) * | 2016-09-28 | 2018-04-03 | 中国科学院苏州纳米技术与纳米仿生研究所 | 二元滤光片及其制作方法 |
| CN106840398A (zh) * | 2017-01-12 | 2017-06-13 | 南京大学 | 一种多光谱光场成像方法 |
| KR20180137795A (ko) * | 2017-06-19 | 2018-12-28 | 광주과학기술원 | 하이퍼스펙트럼 이미지 장치 |
| CN114659634A (zh) * | 2022-03-31 | 2022-06-24 | 西安交通大学 | 微型快照式压缩光谱成像探测装置及探测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115014522A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Arad et al. | Sparse recovery of hyperspectral signal from natural RGB images | |
| Garcia et al. | Bio-inspired color-polarization imager for real-time in situ imaging | |
| CN101124462B (zh) | 多光谱和超光谱成像系统 | |
| CN104154998B (zh) | 一种基于压缩感知的计算多光谱成像图谱的重构方法 | |
| Tao et al. | Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering | |
| CN204788661U (zh) | 基于压缩感知的计算多光谱成像系统 | |
| AU2020281143B1 (en) | Creating super-resolution images | |
| CN115307733B (zh) | 一种空间维编码光谱偏振一体化成像系统及其设计方法 | |
| Mu et al. | Snapshot hyperspectral imaging polarimetry with full spectropolarimetric resolution | |
| CN114659634A (zh) | 微型快照式压缩光谱成像探测装置及探测方法 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| CN113008370A (zh) | 基于液晶高光谱计算成像系统的三维自适应压缩重构方法 | |
| CN111598962A (zh) | 基于矩阵草图分析的单像素成像方法和装置 | |
| CN112113661B (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
| CN115014522B (zh) | 集成式计算光谱成像方法及装置 | |
| CN109781260B (zh) | 超紧凑型快照式偏振光谱成像探测装置及探测方法 | |
| CN105067116A (zh) | 一种画幅式成像光谱数据的拼接方法及系统 | |
| KR101986998B1 (ko) | 하이퍼스펙트럼 이미지 장치 | |
| CN207423363U (zh) | 一种微型偏振光谱成像探测系统 | |
| Qi et al. | A super-resolution fusion video imaging spectrometer based on single-pixel camera | |
| CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
| CN103714572A (zh) | 基于光谱重构的三步高光谱图像融合方法 | |
| Shoeiby et al. | Mosaic super-resolution via sequential feature pyramid networks | |
| Huang et al. | High-efficiency multispectral-polarization imaging system using polarization camera array with notch filters | |
| Zhang et al. | Bi-channel compressive hyperspectral imager based on polarization conversion metasurface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |