CN116848847A - 摄像装置和光学元件 - Google Patents

摄像装置和光学元件 Download PDF

Info

Publication number
CN116848847A
CN116848847A CN202180091998.9A CN202180091998A CN116848847A CN 116848847 A CN116848847 A CN 116848847A CN 202180091998 A CN202180091998 A CN 202180091998A CN 116848847 A CN116848847 A CN 116848847A
Authority
CN
China
Prior art keywords
image
wavelength
optical element
image pickup
structures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180091998.9A
Other languages
English (en)
Inventor
宫田将司
曽我部阳光
小林史英
杉本志织
根本成
桥本俊和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN116848847A publication Critical patent/CN116848847A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

摄像装置(10)具有：光学元件(12)，其具有用于覆盖分别包含光电转换元件的多个像素的透明层、透明基板、以及在透明基板上或透明基板内配置在透明基板的面方向上的多个结构体；摄像元件(11)，其配置有包含光电转换元件的多个像素；以及信号处理部，其基于从摄像元件(11)得到的电信号来生成图像信号，光学元件(12)以按每个波长具有不同的点扩散函数的状态输出光，将被卷积了各波长的点扩散函数的图像成像于摄像元件(11)，多个结构体在侧视下具有相同的高度，信号处理部(13)对卷积了各波长的点扩散函数的图像进行重构。

Description

摄像装置和光学元件
技术领域
本发明涉及摄像装置和光学元件。
背景技术
通常，摄像装置获取可取得的光学信息为R(红)、G(绿)、B(蓝)这3种颜色的二维图像。与此相对，近年来，作为获取更详细的颜色信息(波长谱)的相机，高光谱相机被实用化，正在进行着从更丰富多彩的光学信息中提取出具有新价值的信息的努力。通常，作为被实用化的高光谱相机，有线扫描型的高光谱相机。另外，正在进行着压缩感知型的高光谱相机的研究。
现有技术文献
非专利文献
非专利文献1：Gonzalo R Arce,David J Brady,Lawrence Carin,HenryArguello,and David S Kittle,“Compressive Coded Aperture Spectral Imaging:Anintroduction”,IEEE Signal Processing Magazine,Vol.31,No.1,pp.105-115,2013.
非专利文献2：Y.Sogabe,et al.“ADMM-INSPIRED RECONSTRUCTION NETWORK FORCOMPRESSIVE SPECTRALIMAGING”,In:2020IEEE International Conference on ImageProcessing(ICIP).IEEE,2020.p.2865-2869.
发明内容
发明要解决的课题
线扫描型的高光谱相机通过狭缝仅使空间一维的光入射，通过分光元件(棱镜、光栅)进行波长分离，并通过二维的图像传感器获取空间一维×波长一维。线扫描型的高光谱相机通过一边扫描狭缝的位置(或者拍摄对象本身)一边进行多次拍摄，来生成空间二维×波长一维的图像。
在线扫描型的情况下，通过利用分光元件进行波长分离来直接获取波长信息，因此具有波长谱的精度良好这样的优点。另一方面，线扫描型的高光谱相机存在如下缺点：由于波长分离所需要的较长的光路长度以及扫描机构而导致装置大型化，并且由于多次拍摄而导致时间分辨率低(无法拍摄运动体)。
压缩感知型的高光谱相机对拍摄对象实施光学编码(光信息的操作/运算)并进行拍摄，通过利用了自然图像所具有的稀疏性的重构处理来复原空间信息和波长信息。
由于压缩感知型的高光谱相机根据较少的信息量高精度地复原原来的信息，因此与上述的其他方法相比，压缩感知型的高光谱相机具有如下优点：信息量的缺失较少(不牺牲空间、时间维度)，并且一般进行单拍动作。另一方面，压缩感知型的高光谱相机在进行光学编码时通常需要大规模且复杂的光学系统，因此存在制作工时多、装置也大型化这样的缺点。另外，也可以使用通过需要多级光刻的多级衍射光学元件简化后的光学系统来进行编码，但制作工时多，另外，由于原理上的制约(阴影效应等)，光透射率、光学系统的数值孔径(或F值)存在制约。
本发明是鉴于上述情况而完成的，目的在于提供一种装置结构简单的高光谱摄像装置和用于实现装置结构简单的高光谱摄像装置的光学元件。
用于解决课题的手段
为了解决上述课题并达成目的，本发明的摄像装置的特征在于，具有：光学元件，其具有透明基板和多个结构体，该多个结构体在透明基板上或透明基板内配置在透明基板的面方向上；摄像元件，其配置有包含光电转换元件的多个像素；以及信号处理部，其基于从摄像元件得到的电信号生成图像信号，光学元件以按每个波长具有不同的点扩散函数的状态输出光，由此将被卷积了各波长的点扩散函数的图像成像于摄像元件，多个结构体在侧视下具有相同的高度，信号处理部对被卷积了各波长的点扩散函数的图像进行重构。
此外，本发明的光学元件具有：透明基板；以及多个结构体，它们在透明基板上或透明基板内配置在透明基板的面方向上，光学元件的特征在于，光学元件以按每个波长具有不同的点扩散函数的状态输出光，将被卷积了各波长的点扩散函数的图像成像于摄像元件，多个结构体在侧视下具有相同的高度。
发明的效果
根据本发明，能够实现装置结构简单的高光谱摄像装置。
附图说明
图1是示出实施方式的摄像装置的概略结构的侧视图。
图2是示出到图1所示的摄像装置获取图像为止的处理的概略图。
图3是示意性地示出实施方式的摄像元件和光学元件的截面的一部分的图。
图4是说明由信号处理部进行的图像的重构处理的图。
图5是示出结构体的概略结构的例子的图。
图6是示出结构体的概略结构的例子的图。
图7是示出结构体的结构宽度及各波长下的相位延迟量的图。
图8是示出结构体的截面形状的例子的图。
图9是示出以与菲涅耳透镜同等的方式设计时的结构体所具有的相位分布的例子的图。
图10是示出以与菲涅耳透镜同等的方式设计时的结构体所具有的相位分布的例子的图。
图11是示出以与菲涅耳透镜同等的方式设计时的结构体所具有的相位分布的例子的图。
图12是示出以使点扩散函数(PSF)具有螺旋桨形状的方式设计时的结构体所具有的相位分布的例子的图。
图13是示出以使PSF具有螺旋桨形状的方式设计时的结构体所具有的相位分布的例子的图。
图14是示出以使PSF具有螺旋桨形状的方式设计时的结构体所具有的相位分布的例子的图。
图15是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。
图16是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。
图17是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。
图18是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。
图19是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。
图20是示出模拟结果的图。
图21是示出基于摄像装置的重构图像的一例的图。
图22是示出图21中的重构图像的×点处的波长谱的图。
图23是示出对基于光学元件12的PSF的形状的重构精度进行比较的结果的图。
图24是示出基于图23的PSF的各形状的观测图像分别重构后的重构图像的图。
图25是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
图26是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
图27是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
图28是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
图29是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
图30是示意性地示出实施方式的光学元件的截面的一部分的其他例子的图。
具体实施方式
以下，结合附图对用于实施本发明的最佳方式进行详细说明。另外，在以下的说明中，各图仅是以能够理解本发明的内容的程度概略性地示出形状、大小及位置关系，因此，本发明并不仅限定于在各图中例示出的形状、大小及位置关系。另外，在附图的记载中，对同一部分标注同一标号来示出。此外，以下，针对A记载为“^A”等同于“在‘A’的正上方记载有‘^’的标号”。
[实施方式]
[摄像装置]
首先，对本发明的实施方式的摄像装置进行说明。图1是示出实施方式的摄像装置的概略结构的侧视图。图2是示出到图1所示的摄像装置10获取图像为止的处理的概略图。
如图1所示，实施方式的摄像装置10具有光学元件12、摄像元件11以及信号处理部13。摄像元件11具有CCD、CMOS等光电转换元件。信号处理部13对从摄像元件11输出的光电转换信号进行处理而生成图像信号。
如图1和图2所示，在摄像装置10中，自然光、照明光等光照射到拍摄对象(实际图像)，被拍摄对象1透射/反射/散射后的光、或者从拍摄对象1发出的光通过光学元件12在摄像元件11上形成光学像。
光学元件12由微细的二元结构构成。换言之，光学元件12具有多个微细的柱状的结构体160。并且，光学元件12具有成像特性根据波长而不同的功能，从而进行光学编码。光学元件12是具有根据波长而形状明显不同的PSF(Point spread function：点扩散函数)的透镜(波长依赖PSF透镜)，且光学元件12具有生成对实际图像(被摄体)实施了按每个波长不同的卷积运算后的图像的功能。光学元件12是波长依赖PSF透镜，当通过该光学元件12拍摄物体时，以按每个波长不同的PSF对实际图像进行卷积运算，其成果图像成像在摄像元件上。
摄像元件11获取如下的观测图像，该观测图像是由作为波长依赖PSF透镜的光学元件12针对每个波长实施了不同的卷积运算而得到的图像。信号处理部13基于压缩感知，通过进行根据观测图像重构被摄体的空间信息和光谱信息的处理，来生成光谱图像。
此外，摄像装置10可具备红外光截止滤光器、电子快门、取景器、电源(电池)、闪光灯等公知的结构要素，但它们的说明对于本发明的理解而言并非特别需要，因此省略。另外，以上的结构仅是一例，在实施方式中，作为除了光学元件12、摄像元件11、信号处理部13以外的结构要素，能够适当地组合公知的要素来使用。
[透镜及摄像元件]
接着，对实施方式中的光学元件12和摄像元件11进行概略说明。在摄像元件11中，分别包含光电转换元件的多个像素被排列成二维阵列状。光学元件12针对每个波长具有不同的PSF，在整个面上排列有多个微细的结构体，多个微细的结构体具有将对实际图像卷积了按每个波长而不同的PSF的图像成像于摄像元件11的功能。
图3是示意性地示出实施方式的摄像元件和光学元件的截面的一部分的图。另外，在图3及后面的附图中示出了xyz坐标系。xy平面方向相当于后述的摄像元件11、透明基板190等的面方向。以下，除了特别说明的情况以外，“俯视”表示在z轴方向上(例如在z轴负方向上)观察。“侧视”表示在x轴方向或y轴方向(例如在y轴负方向)上观察。
如图3所示，光学元件12与摄像元件11对置地配置。摄像元件11和光学元件12在z轴正方向上依次设置。
摄像元件11具有配线层180和在xy平面方向上排列的多个像素130。各个像素130构成为分别包含光电转换元件。光电转换元件的例子是光电二极管(PD：Photo Diode)。各像素对应于红色(R)、绿色(G)、蓝色(B)。作为红色光的波段的例子，若设波长为λ0，则600nm＜λ0≤800nm。作为绿色光的波段的例子，500nm＜λ0≤600nm。作为蓝色光的波段的例子，λ0≤500nm。像素R、像素G、像素B也可以采用拜耳排列。或者，像素也可以用于单色图像。
入射的光沿着z轴负方向行进，经由光学元件12到达摄像元件11。在摄像元件11的各像素中产生的电荷通过未图示的晶体管等转换为作为像素信号的基础的电信号，经由配线层180输出到摄像单元100的外部。在图3中，图示了配线层180中包含的若干配线。
光学元件12配置在来自拍摄对象的光入射的一侧。在俯视下，光学元件12被设置成覆盖摄像元件11。光学元件12由多个结构体160在透明基板190的底面上例如周期性地(具有周期结构)构成。可以为了便于设计等而将多个结构体160等间隔地配置，也可以不等间隔地配置。多个结构体160形成在设置于摄像元件11上方的透明层150中，以便覆盖多个像素。
透明基板190例如是由SiO2(折射率n＝1.45)等材料构成的低折射率的透明基板。透明层150是由空气或SiO2等材料构成的低折射率的透明层。透明基板190及透明层150的材料可以是单一的，也可以是将多个材料配置成层状。多个结构体160在侧视下具有相同的高度。多个结构体160由通过具有比透明层150的折射率高的折射率的SiN、TiO2等材料形成的微细结构图案构成。
光学元件12的例子为超颖表面(meta-surface)。超颖表面构成为包含多个微细结构体(相当于结构体160)，多个微细结构体在俯视下具有光的波长以下的宽度、且在侧视下具有相同的高度。多个结构体160的以与xy平面平行的面切断时的各自的截面形状为4重旋转对称形状。另外，超颖表面可以具有二维结构，也可以具有三维结构。光学元件12仅通过改变该结构体160的参数，就能够根据光的特性(波长、偏振、入射角)来控制相位和光强度。在三维结构的情况下，与二维结构相比，设计自由度提高。
光学元件12具有根据波长而不同的PSF，由此，成像特性(模糊程度)根据来自拍摄对象1的光的波长而不同。来自拍摄对象1的光通过具有波长依赖PSF功能的光学元件12在摄像元件11上成像，作为图像(RGB图像或单色图像)被获取。
获取图像对应于通过光学元件12的波长依赖PSF对拍摄对象(实际图像)1按每个波长进行光学卷积运算并在像素上沿着波长维度进行积分而得到的结果。光学元件12和摄像元件11获取被进行了光学编码及压缩的状态下的图像。另外，在摄像元件11是彩色图像传感器的情况下，在卷积运算之后，对摄像元件11的R、G、B各个像素进行与波长灵敏度对应的乘法运算，之后在像素上沿着波长维度进行积分。
这样，在摄像装置10中，通过1个光学元件12(光学元件12)将光学编码后的图像成像在摄像元件11上。换言之，在摄像装置10中，能够通过1个光学元件12(光学元件12)在光谱图像重构中进行有效的编码。因此，摄像装置10的结构要素可以仅为1个光学元件12和摄像元件11，能够以简单的装置来实现高光谱摄像装置。
另外，在摄像装置10中，关于光学元件12与摄像元件11之间的距离，与一般的摄像装置同样地由透镜的焦距决定，因此摄像装置10的尺寸与具有相同的视野F数的一般相机相同。
并且，在观测过程已知的情况下(在此为光学元件12的PSF和传感器的波长灵敏度特性)，通过信号处理部13对光学编码后的图像进行适当的信号处理，能够复原实际图像的信息。
特别地，摄像装置10利用压缩感知来进行信号处理，压缩感知所采取的方法是通过利用自然图像所具有的稀疏性来根据较少的信息量高精度地对对象进行重构(复原)。摄像装置10能够通过光学元件12所具有的波长依赖PSF对实际图像的各波长成分进行不同的编码，因此通过信号处理部13基于压缩感知进行图像的重构处理，能够复原光谱图像。
[图像的重构处理]
信号处理部13基于由光学元件12的摄像过程定义的矩阵以及在摄像元件11上成像的图像、即卷积了各波长的PSF的图像(观测图像)，来重构图像。图4是说明由信号处理部13进行的图像的重构处理的图。
如图4所示，重构处理是用于求解以光学系统所定义的观测矩阵Φ和所获取的编码图像g作为输入的优化问题(例如，图4的式(A))的处理。
在式(A)中，右边的第1项f表示本来期望复原的图像。观测图像的数据的数量显著少于期望复原的图像(重构图像)的数据的数量，因此存在无数个满足Φf-g＝0的解，但通过添加归一化项作为第2项，容易求出作为复原图像合理的图像(重构图像^f)。
关于归一化项，针对用于光谱图像而提出了各种各样的归一化项，在本实施方式中，能够应用任意的正则化项。在式(A)的例子中，R对应于基于prior(先验信息：图像可能性)的信号的先验概率，利用与相邻像素的差分小等图像通常具有的稀疏性。此外，τ是平衡参数。另外，在本实施例中，作为归一化项，使用被称为SSTV(Spatio-Spectral TotalVariation：空间-光谱全变分)(参考文献1)的项，在图像重构中进行优化，以使空间维度及波长维度的相邻像素的差分最小化。
参考文献1：Aggarwal,H.K.,&Majumda,A.(2016).Hyperspectral imagedenoising using spatio-spectral total variation.IEEE Geoscience and RemoteSensing Letters,13(3),442-446.
不断提出了求解优化问题的各种方法。在本实施方式中，例如使用被称为ADMM(Alternating Direction Method of Multipliers：交替方向乘子法)(参考文献2)的方法。并且，近年来，提出了如下方法：使用机器学习等同时对正则化项和优化问题的参数进行优化，并进行图像重构(参照非专利文献2)。信号处理部13也能够应用该方法。即，信号处理部13也可以使用由神经网络构成的模型以及被优化的重构算法来进行光谱图像的重构。换言之，信号处理部13利用机器学习，使用各式各样的光谱图像事先对正则化项的形式和优化问题的各种参数进行学习，并使用学习完毕(优化完毕)的正则化项和各种参数来进行图像重构。
参考文献2：S.Boyd,N.Parikh,E.Chu,B.Peleato,and J.Eckstein,“Distributedoptimization and statistical learning via the alternating direction method ofmultipliers,”Foundations and Trends in Machine Learning,vol.3,No.1,pp.1-122,2011.
这样，在摄像装置10中，能够通过简单且小型的光学系统(光学元件12)实现对重构有效的观测矩阵Φ。
[结构体]
为了实现结构体160，在本实施方式中，通过设计微细的柱状的结构体160的截面形状来设计任意的空间相位分布，从而实现具有按入射光的每个波长而形状不同的PSF功能的光学元件12。
图5和图6是示出结构体160的概略结构的例子的图。图5是俯视下的形状为正方形形状的结构体160的侧视图。图6是图5所示的结构体160的仰视图。
结构体160是在z轴方向上延伸的柱状结构体，形成于透明基板190(例如SiO2基板(折射率为1.45))的底面。结构体160的材料的例子为SiN(折射率n1＝2.05)。结构体160的侧方及下方为空气(Air(折射率n0＝1.0))。
设各个结构体160的配置周期为P。优选如式(1)那样设定配置周期P，使得在透射侧不会产生衍射光。
[数学式1]
P≤λmin/n0…(1)
λmin是光接收对象的波段中的最短波长。n0是透射侧的透明层的折射率。例如，设λmin为420nm、n0为1.0、P＝400nm。
结构体160的高度h(z轴方向的长度)恒定。由于优选结构体160针对入射的光、即沿着z轴方向行进的光具有2π以上的光相位延迟量(相位值)，因此若将分离的波长区域的最长波长侧的波长区域中的期望的中心波长设为λr，则优选如式(2)那样设定高度h。
[数学式2]
P≥λr/(n1-n0)…(2)
在式(2)中，n1是结构体160的折射率。在结构体160为SiN的情况下，n1＝2.05，高度h例如为1250nm。此外，结构体160也可以由TiN(折射率为2.40)形成。
通过设计(包括尺寸设计)结构体160的截面形状，可实现能够对各波长的光赋予不同的光相位延迟量的各种组合。通过使结构体160的截面形状多样化，组合增加，设计自由度进一步提高。另外，为了不产生偏振依赖性，优选多个结构体160的以与xy平面平行的面切断时的各自的截面形状为4重旋转对称形状。
[相位延迟量]
接着，对结构体160的结构宽度及各波长下的相位延迟量进行说明。图7是示出结构体160的结构宽度与各波长下的相位延迟量之间的关系的图。
在图7中，示出了在高度恒定的状态下将柱状的结构体160的结构参数(宽度)设定为各种值时的各波长(420nm～660nm)的相位值。如该图7所示，通过适当地设计结构体160的截面形状，能够在全部的设计波长下实现0～2π全部的相位值。
由此，在本实施方式中，仅通过设计二元结构的结构体160的截面形状，就能够根据设计波长设计任意的空间相位分布，能够如后述那样设计具有按每个波长而形状不同的PSF的光学元件12。此外，这里，仅对420nm～660nm的波长进行了说明，但对于其他任意的波段也能够应用同样的设计。
此外，结构体160的截面形状不限于图6所示的形状。图8是示出结构体160的截面形状的例子的图。结构体160可以具有图8所例示出的各种截面形状。所例示的形状例如是通过将正方形形状、十字形状以及圆形形状进行各种组合而得到的4重旋转对称形状。
[透镜的设计例1]
接着，对作为波长依赖PSF透镜的光学元件12的设计例进行说明。在本实施方式中，设计具有按每个波长而形状不同的PSF的透镜相位分布，基于该相位分布来实现柱状的结构体160。
在此，使用图5和图6所示的SiN组成的结构体160来设计相位分布，实现波长依赖PSF透镜。另外，能够根据各种相位分布来实现具有按每个波长而形状不同的PSF的透镜。
作为最简单的例子，对基于与菲涅耳透镜同等的相位分布来设计按每个波长具有不同的PSF的光学元件12的情况进行说明。在该情况下，透镜的相位分布例如由式(3)表示。
[数学式3]
在式(3)中，(x，y)是透镜平面上的空间坐标。λd是设计波长。f是焦距。n是透射透镜后的光传播空间的折射率。C是任意的常数。
图9～图11是示出以与菲涅耳透镜同等的方式设计时的结构体160所具有的相位分布的例子的图。图9～图11是以具有与菲涅耳透镜同等的相位分布的方式设计时的相位分布的例子。图9是λ＝450nm的情况，图10是波长λ＝550nm的情况，图11是波长λ＝650nm的情况。在图9～图11的例子中，以透镜直径为1.0mm、焦距为5.0mm、设计波长为520nm这样的参数进行了透镜设计。对进行了变换以使其收敛于0～2π的范围。例如，-0.5π和2.5π分别转换为1.5π和0.5π。
为了实现具有与菲涅耳透镜同等的相位分布的波长依赖PSF透镜，根据组成结构具有的设计波长下的相位延迟量，按每个位置选择并配置具有最适合于式(2)的相位分布的结构(相位误差最小的结构)的结构体160即可。
在菲涅耳透镜的相位分布的情况下，设计波长的平行光在焦距处会聚于1点。即，PSF形状为点(准确地说，圆透镜时为高斯函数，正方形透镜时为sinc函数)。
对于其他波长的光而言，由于相位图案引起的聚光位置的波长依赖性以及相对于组成结构的相位的波长色散，PSF的大小会依赖于波长而变化。即，会产生像的模糊程度根据波长而不同的色差。
在本实施方式中，能够利用该色差，在对拍摄对象实施了按每个波长而不同的卷积运算之后获取图像，通过图像重构生成光谱图像。
[透镜的设计例2]
接着，对作为波长依赖PSF透镜的光学元件12的其他设计例进行说明。在此，以设计成具有螺旋桨形状的PSF的相位分布的情况为例进行说明。
即，设计具有PSF的形状根据波长而旋转的相位分布的光学元件12。此时，透镜的相位分布例如由式(4)表示。另外，式(4)的ω(θ)由式(5)表示。
[数学式4]
[数学式5]
在式(4)、式(5)中，r是距透镜平面上的原点的距离。θ是透镜平面上的原点与坐标所成的角度。c是真空中的光的速度。ω(θ)是θ位置处的光的角频率。ωmin是设计上最小的光的角频率。ωmax是设计上最大的光的角频率。f是焦距。n是透射透镜后的光传播空间的折射率。C是任意的常数。N是叶片的数量。
图12～图14是结构体160所具有的相位分布的其他例子。图12～图14是示出以使PSF具有螺旋桨形状的方式设计时的结构体160所具有的相位分布的例子的图。图12是λ＝450nm的情况，图13是波长λ＝550nm的情况，图14是波长λ＝650nm的情况。在图12～图14的例子中，以透镜直径为1.0mm、焦距为5.0mm、叶片的数量为3、设计波长为420～660nm这样的参数进行了透镜设计。对进行了变换以使其收敛于0～2π的范围。例如，-0.5π和2.5π分别转换为1.5π和0.5π。
为了实现成为具有螺旋桨形状的PSF的相位分布这样的波长依赖PSF透镜，根据组成结构具有的各波长(各角频率)下的相位延迟量，按每个位置选择并配置具有最适合于式子的相位分布的结构(相位误差最小的结构)的结构体160即可。
在该情况下，如后所述，PSF形状成为螺旋桨那样的形状，其叶片的数量与式(5)中的N对应。该PSF形状根据波长而旋转，其大小几乎不变化。
这是由于透镜的焦距对波长和旋转角θ具有依赖性的相位图案以及相对于组成结构的相位的波长色散所造成的。仅任意的旋转角θ下的设计角频率ω(θ)(设计波长)的光在设计焦距及焦点位置处会聚，其他光的焦距前后变化。设计角频率ω(θ)根据旋转角θ线性地变化，因此生成螺旋桨形状那样的PSF，PSF依赖于角频率(波长)而旋转。
因此，光学元件12能够对拍摄对象实施按每个波长而不同的卷积运算，在获取到图像后，摄像装置10能够通过图像重构来生成光谱图像。
此外，如后所述，与菲涅耳透镜型相比，PSF的大小大致恒定且波长依赖性以旋转这样的明确的形式产生的螺旋桨透镜型在重构中是有利的，更优选。
另外，式(4)、式(5)的设计角频率ω根据透镜位置而变化，但将角频率置换为波长也能够得到同样的效果。
以下，示出基于螺旋桨透镜型而设计出的光学元件12的实施例，但同样适用于菲涅耳透镜型这样的其他的波长依赖PSF透镜。
[PSF形状例]
示出实施方式的波长依赖PFS透镜的PSF形状的一例。图15～图19是示出根据图12～图14所示的相位分布通过菲涅耳衍射积分求出的PSF形状的图。图15是波长λ＝450nm下的PSF形状。图16是波长λ＝500nm下的PSF形状。图17是波长λ＝550nm下的PSF形状。图18是波长λ＝600nm下的PSF形状。图19是波长λ＝650nm下的PSF形状。
如图15～图19所示，可知实施方式的波长依赖PFS透镜具有包括3个叶片的螺旋桨形状的PSF，并且根据波长而旋转。如图15～图19所示，与波长的变化无关，PSF自身的大小几乎不变化。
当利用具有这些PSF的光学元件12对拍摄对象1进行拍摄时，以对应的波长的PSF对图像进行了卷积后的结果在图像传感器上成像。
[观测图像例]
接着，对利用具有图15～图19的PSF的光学元件12拍摄自然图像而得到的模拟结果进行说明。图20是示出模拟结果的图。
通过如下的方式实施了模拟：以图15～图19的PSF对所公开的光谱图像(ICVL,Boaz Arad and Ohad Ben-Shahar.Sparse recovery of hyperspectral signal fromnatural rgb images,In European Conference on Computer Vision,pp.19-34.Springer,2016.,[online],[令和2年12月28日检索],互联网＜URL：http://icvl.cs.bgu.ac.il/hyperspectral/＞)(波长420nm～660nm：25波段)按每个波长进行卷积运算，并且在考虑了一般的彩色图像传感器的RGB像素的灵敏度的情况下沿着波长维度进行积分。另外，图20是单色显示RGB彩色图像的图，左侧的图像是输入光谱图像(实际图像)，右侧的图像是在摄像元件11上获取的图像(观测图像)。
这对应于使用具有图15～图19的PSF的透镜和彩色图像传感器进行拍摄并模拟从传感器输出的RGB彩色图像(观测图像)。另外，B光的波长区域为420～500nm，G光的波长区域为500～600nm，R光的波长区域为600～660nm。
如图20所示，可知观测图像因基于光学元件12的PSF的卷积运算而变得模糊。另外，观测到的信息量被压缩为实际图像的12％(从25波段到3种颜色)，通过基于压缩感知的图像重构，将信息从3种颜色复原为25波段。
[重构图像]
接着，对摄像装置10的重构图像的一例进行说明。图21是示出摄像装置10的重构图像的一例的图。图21示出了利用基于压缩感知的重构处理从图20所示的观测图像生成光谱图像的例子。
在此，使用SSTV作为正则化项，使用ADMM作为优化问题的求解方法。另外，图21还示出了用于比较的实际图像。另外，图21所示的重构图像及实际图像是25波段的光谱图像，但为了进行可视化而以单色来显示RGB图像。
对于重构图像，以PSNR(Peak Signal-to-Noise Ratio：峰值信噪比)、SSIM(Structural Similarity：结构相似性)、SAM(Spectral Angle Mapping：光谱角制图)的评价指数进行了评价。
如式(6)及式(7)所示，PSNR是评价每一个像素的差的指数，值(dB)越大，画质越高。计算各波长的图像的PSNR，对波长整体取平均，从而应用于光谱图像。
[数学式6]
[数学式7]
SSIM是结构相似性，如式(8)所示，是包含与周围像素的相关性的指标。SSIM越接近1，画质越高。计算各波长的图像的SSIM，对波长整体取平均，从而应用于光谱图像。
[数学式8]
SAM是波长谱相似度，越接近0，光谱越相似。计算各像素的SAM，对图像整体取平均，从而应用于光谱图像。
重构图像的PSNR为29.09dB，SSIM为0.9142，SAM为0.1872。因此，可知通过摄像装置10高精度地重构了图像。
[重构的波长谱]
接着，对重构的波长谱的例子进行说明。图22是示出图21中的重构图像的×点处的波长谱的图。在图22中，为了进行比较，与重构图像(Reconstructed)一同还示出了实际图像(Ground truth：基准真值)的×点处的波长谱。
如图22所示，在重构图像中，得到了与实际图像十分一致的光谱，可知能够通过图像重构执行高精度的信息的复原。此外，重构精度除了根据光学元件12的PSF的形状而变化以外，还根据正则化项、优化问题的求解方法而变化。
[基于PSF的形状的重构精度的比较]
接着，示出对光学元件12中的基于PSF的形状的重构精度进行比较而得到的结果。图23是示出按光学元件12的每个PSF的形状比较构成精度而得到的结果的图。图24是示出基于图23的PSF的各形状的观测图像分别重构的重构图像的图。针对图24所示的重构图像、实际图像以及菲涅耳透镜图像，以单色来显示RGB图像。
在图23中，为了进行比较，还示出了基于菲涅耳透镜型的PSF的图像。另外，在图24中，为了进行比较，还示出了实际图像和基于菲涅耳透镜型的重构图像。对于基于菲涅耳透镜型的图像，利用上述的大的色差来进行重构。
在图23和图24中，使用了PSNR、SSIM、SAM作为评价指数。图23和图24中的N是叶片的数量。在图23中，还示出了作为波长依赖PSF的光学元件12的、叶片的数量N为1～4的情况下的PSF形状。另外，作为透镜的参数，透镜直径为1.0mm，焦距为5.0mm，设计波段为420～660nm。作为传感器参数，像素尺寸为24μm、图像尺寸为128×128×25、分片大小为32×32×3。作为ADMM参数，正则化项的权重为λ＝0.015，惩罚项的权重为ρ＝0.1，迭代次数为64。
如图23和图24所示，所有评价指数未因叶片的数量的不同而产生较大差异，与菲涅耳透镜PSF相比具有更高的精度。换言之，与叶片的数量无关地，光学元件12展现出了比菲涅耳透镜PSF更高的精度。因此，可以说本实施方式的光学元件12比菲涅耳透镜型更加优选，本实施方式的光学元件12构建出有利于重构的观测矩阵。
[实施方式的效果]
这样，在实施方式的摄像装置10中，利用1个光学元件12将光学编码后的图像成像在摄像元件11上。换言之，在摄像装置10中，能够通过1个光学元件12在光谱图像重构中进行有效的编码。因此，摄像装置10的结构要素可以仅为1个光学元件12、摄像元件11和信号处理部13，能够以简单的装置实现高光谱摄像装置。
另外，在摄像装置10中，光学元件12与摄像元件11之间的距离与通常的摄像装置同样地由透镜的焦距决定，因此摄像装置10的尺寸与具有相同的视野F值的一般相机相同，与以往相比，能够实现装置的小型化。
另外，在观测过程已知的情况下(在此为光学元件12的PSF和传感器的波长灵敏度特性)，通过信号处理部13对光学编码后的图像进行适当的信号处理，能够高精度地复原实际图像的信息。
此外，在摄像装置10中，拍摄本身(编码后的图像的获取)可以是单次拍摄，因此不存在时间维度的牺牲，如果除去重构的处理时间，则能够实现与一般相机同等的时间分辨率。
另外，在摄像装置10中，负责编码的光学元件12由微细的二元结构构成，因此与需要多级光刻的一般的衍射光学元件相比，能够削减制作工时，厚度也薄，重量也轻，制作容易。
另外，由微细的二元结构构成的光学元件12不存在由在一般的衍射光学元件中产生的阴影效应(衍射光学元件的衍射光因其自身的多级结构而反射、散射的现象)所引起的光透射率的降低、最大透镜数值孔径(NA)的限制，因此能够实现NA更高的透镜(光利用效率高的明亮的透镜)。
另外，在本实施方式中，示出了基于摄像元件11为彩色图像传感器的情况的实施例，但在单色图像传感器的情况下，除了在获取被编码的图像时3ch(RGB：彩色)变为1cb(单色)以外，与实施方式相同。
[透镜结构例]
光学元件12不限于图2和图3所示的结构，能够对结构体160的数量、间隔、结构形状、排列图案采用各种方式。另外，结构体160可以分别连接，也可以是埋入透明材料内的形态。
在图2和图3中，光学元件12形成于透明基板190的底面，但不限于此。图25～图30是示意性地示出实施方式的光学元件12的截面的一部分的其他例子的图。
如图25所示，光学元件12的结构体160可以形成于透明基板190A的上表面。在这种情况下，结构体160由透明基板190A支承。结构体160的上方的透明层可以是空气，也可以是树脂等保护层，透明层的材料可以是单一的，也可以是将多个材料配置成层状。
另外，如图26所示，光学元件12的结构体160也可以埋入透明基板190B内。透明基板190B的材料可以是单一的，也可以是将多个材料配置成层状。
另外，如图27所示，光学元件12的结构体160也可以形成于透明基板190C的两个面。可以通过形成于透明基板190C的两个面的结构体160来实现上述的波长依赖PSF功能。此外，可以通过透明基板190C的结构体160来实现波长依赖PSF功能，也可以在另一面上实现滤光器、分束器、遮光层等其它光学功能。结构体160上方的透明层可以是空气，也可以是树脂等保护层，透明层的材料可以是单一的，也可以是将多个材料配置成层状。
另外，如图28所示，光学元件12的结构体160也可以形成在折射型透镜190D上。结构体160被支承在折射型透镜190D上。折射型透镜190D有利于提高波长依赖PSF功能的聚光性能(实现高的NA等)。另外，稍后说明的折射型透镜190E、190F也同样。结构体160上方的透明层可以是空气，也可以是树脂等保护层。折射型透镜190D的材料可以是单一的，也可以是将多个材料配置成层状。
另外，如图29所示，光学元件12的结构体160也可以埋入折射型透镜190E内。折射型透镜190E的材料可以是单一的，也可以是将多个材料配置成层状。
另外，如图30所示，光学元件12的结构体160也可以形成于折射型透镜190F的两个面。可以通过形成于折射型透镜190F的两个面的结构体160来实现上述的波长依赖PSF功能。此外，可以通过折射型透镜190F的结构体160来实现波长依赖PSF功能，也可以在另一面上实现滤光器、分束器、遮光层等其它光学功能。结构体160上方的透明层可以是空气，也可以是树脂等保护层。折射型透镜190F的材料可以是单一的，也可以是将多个材料配置成层状。
另外，虽然在图25～图30中进行了省略，但也可以在同一平面上或背面施加遮光膜图案等。
此外，在实施方式中，作为结构体160的材料，以TiO2以及SiN为例进行了说明。但是，结构体160的材料并不限定于此。例如，对于波长为380nm～1000nm的光(可见光～近红外光)的光，除了SiN以外，也可以使用SiC、TiO2、GaN等作为结构体6的材料。由于折射率高、吸收损失少，因此适合。在使用波长为800～1000nm的光(近红外光)的情况下，可以使用Si、SiC、SiN、TiO2、GaAs、GaN等作为结构体6的材料。由于是低损失，因此适合。对于长波段的近红外区域(作为通信波长的1.3μm、1.55μm等)的光，除了上述材料以外，还可以使用InP等作为结构体160的材料。
另外，在通过粘贴、涂布等形成结构体160的情况下，作为材料，可举出氟化聚酰亚胺等聚酰亚胺、BCB(苯并环丁烯)、光固化性树脂、UV环氧树脂、PMMA等丙烯酸树脂、抗蚀剂整体等聚合物等。
另外，在实施方式中，示出了假设SiO2和空气层作为透明层150的材料的例子，但不限于此。也包括一般的玻璃材料等，只要是具有比结构体160的材料的折射率低的折射率且相对于入射光的波长为低损失的材料即可。透明层150相对于应到达对应的像素的光的波长为充分低的损失即可，因此可以是与滤色器相同的材质，例如可以是树脂等有机材料。
另外，在实施方式中，作为像素所对应的颜色，以RGB三原色为例进行了说明，但像素也可以与近红外光以及三原色以外的波长的光(例如，红外光、紫外光等)对应。
另外，在实施方式中，作为结构体160的形状，对使用具有正方形形状的截面形状的结构体的例子进行了说明。该形状为一例，也可以使用1种结构体(例如仅正方形形状)，也可以使用2种以上的结构体(例如仅正方形形状和×字形状)。
以上，基于具体的实施方式对本发明进行了说明，但本发明并不限定于上述实施方式，当然能够在不脱离其主旨的范围内进行各种变更。
标号说明
1 拍摄对象
10 摄像装置
11 摄像元件
12 光学元件
13 信号处理部
130 像素
150 透明层
160 结构体
180 配线层
190、190A～190C 透明基板
190D～190F 折射型透镜

Claims (6)

1.一种摄像装置，其特征在于，具有：
光学元件，其具有透明基板和多个结构体，该多个结构体在所述透明基板上或所述透明基板内配置在所述透明基板的面方向上；
摄像元件，其配置有包含光电转换元件的多个像素；以及
信号处理部，其基于从所述摄像元件得到的电信号生成图像信号，
所述光学元件以按每个波长具有不同的点扩散函数的状态输出光，由此将被卷积了各波长的点扩散函数的图像成像于所述摄像元件，
所述多个结构体在侧视下具有相同的高度，
所述信号处理部对被卷积了各波长的点扩散函数的图像进行重构。
2.根据权利要求1所述的摄像装置，其特征在于，
所述信号处理部基于由所述光学元件的摄像过程定义的矩阵和卷积了各波长的点扩散函数的图像来重构图像。
3.根据权利要求2所述的摄像装置，其特征在于，
所述信号处理部使用由神经网络构成的模型来求解以所述光学元件的摄像过程所定义的矩阵和卷积了各波长的点扩散函数的图像作为输入的优化问题。
4.根据权利要求1至3中的任意一项所述的摄像装置，其特征在于，
所述多个结构体分别是柱状结构体，它们具有比所述透明层的折射率高的折射率，且对入射的光赋予与截面形状对应的光相位延迟量，
按照如下的光相位量延迟分布来设定所述多个结构体的截面形状，并按照该光相位量延迟分布来配置所述多个结构体，该光相位量延迟分布用于实现被卷积了所述各波长的点扩散函数的图像针对所述像素的成像。
5.根据权利要求1至4中的任意一项所述的摄像装置，其特征在于，
所述多个结构体各自的截面形状是4重旋转对称形状。
6.一种光学元件，其具有：透明基板；以及多个结构体，它们在所述透明基板上或所述透明基板内配置在所述透明基板的面方向上，
所述光学元件的特征在于，
所述光学元件以按每个波长具有不同的点扩散函数的状态输出光，将被卷积了各波长的点扩散函数的图像成像于摄像元件，
所述多个结构体在侧视下具有相同的高度。
CN202180091998.9A 2021-01-27 2021-01-27 摄像装置和光学元件 Pending CN116848847A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/002910 WO2022162801A1 (ja) 2021-01-27 2021-01-27 撮像装置及び光学素子

Publications (1)

Publication Number Publication Date
CN116848847A true CN116848847A (zh) 2023-10-03

Family

ID=82653159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180091998.9A Pending CN116848847A (zh) 2021-01-27 2021-01-27 摄像装置和光学元件

Country Status (6)

Country Link
US (1) US20240121488A1 (zh)
EP (1) EP4270942A1 (zh)
JP (1) JPWO2022162801A1 (zh)
KR (1) KR20230127278A (zh)
CN (1) CN116848847A (zh)
WO (1) WO2022162801A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611117B (zh) * 2014-11-19 2018-12-07 松下知识产权经营株式会社 摄像装置以及分光系统
CN107615022A (zh) * 2015-03-24 2018-01-19 犹他大学研究基金会 具有用于创建空间编码图像的图像分散性的成像设备
JP6975897B2 (ja) * 2016-12-27 2021-12-01 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP6966934B2 (ja) * 2017-03-29 2021-11-17 パナソニックＩｐマネジメント株式会社 画像生成装置及び撮像装置
JP6981496B2 (ja) * 2018-04-17 2021-12-15 日本電信電話株式会社 カラー撮像素子および撮像装置
JP6857163B2 (ja) * 2018-09-26 2021-04-14 日本電信電話株式会社 偏光イメージング撮像システム

Also Published As

Publication number Publication date
US20240121488A1 (en) 2024-04-11
EP4270942A1 (en) 2023-11-01
KR20230127278A (ko) 2023-08-31
WO2022162801A1 (ja) 2022-08-04
JPWO2022162801A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
JP7328232B2 (ja) フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
CA2594105C (en) A system for multi- and hyperspectral imaging
JP6707105B2 (ja) カラー撮像素子および撮像装置
Xiong et al. Snapshot hyperspectral light field imaging
US11300449B2 (en) Imaging device with image dispersing to create a spatially coded image
KR102269229B1 (ko) 렌즈리스 초분광 영상 이미징 방법 및 그 장치
US20210127101A1 (en) Hyperspectral image sensor and hyperspectral image pickup apparatus including the same
CN113447118B (zh) 一种可实现彩色成像的多光谱成像芯片及彩色成像方法
Song et al. Review of compact computational spectral information acquisition systems
WO2021070305A1 (ja) 分光素子アレイ、撮像素子および撮像装置
TW202119094A (zh) 攝像元件及攝像裝置
CN114927536B (zh) 多光谱成像芯片、组件、制备方法及移动终端
CN109827658B (zh) 面向绿色植被检测的凝视型光谱芯片结构及其制备方法
Shaik et al. Longwave infrared multispectral image sensor system using aluminum-germanium plasmonic filter arrays
WO2022162801A1 (ja) 撮像装置及び光学素子
Rueda et al. Compressive spectral imaging based on colored coded apertures
US20220004016A1 (en) Broadband polarization splitting based on volumetric meta-optics
US20240147032A1 (en) Imaging device and optical element
Schambach Reconstruction from Spatio-Spectrally Coded Multispectral Light Fields
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
Wang et al. Computational snapshot angular-spectral lensless imaging
Wei et al. Compact hyperspectral imaging of extreme-depth-of-field diffractive lenses based on spatial–spectral sparse deep learning
US20220404531A1 (en) Method and system for fabrication and use of a spectral basis filter
Kumar et al. Novel design of photonic filter chip for micro-spectrometer
Jacome et al. Compressive Spectral Imaging Fusion Implementation Based on an End-to-End Optimization Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination