CN114689174A - 一种芯片级多光谱相机系统及其操作方法 - Google Patents
一种芯片级多光谱相机系统及其操作方法 Download PDFInfo
- Publication number
- CN114689174A CN114689174A CN202210400130.9A CN202210400130A CN114689174A CN 114689174 A CN114689174 A CN 114689174A CN 202210400130 A CN202210400130 A CN 202210400130A CN 114689174 A CN114689174 A CN 114689174A
- Authority
- CN
- China
- Prior art keywords
- image
- spectrum
- multispectral
- spectral
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 78
- 238000001228 spectrum Methods 0.000 claims abstract description 76
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000701 chemical imaging Methods 0.000 claims abstract description 25
- 239000000758 substrate Substances 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000002086 nanomaterial Substances 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 239000002061 nanopillar Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 239000005304 optical glass Substances 0.000 claims description 2
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 239000010453 quartz Substances 0.000 claims description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 1
- 230000004075 alteration Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0297—Constructional arrangements for removing other types of optical noise or for performing calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种芯片级多光谱相机系统及其操作方法，包括：超透镜成像光学模块、多光谱成像光电转换模块、光谱图像处理模块、电路模块；超透镜成像光学模块由若干个超透镜组构成，用于将拍摄物体投影到多光谱成像光电转换模块。多光谱成像光电转换模块由光谱调制层和光电转换基底组成，用于将物体的像转变成不同谱段的图像数字信号。光谱图像处理模块及电路模块用于对获取到的图像进行处理，最终得到相应灰度图、彩色图和多光谱图像。该光谱相机光谱覆盖范围广、信息量大、且与传统光谱相机相比体积缩小数倍，便携性、灵活性得到极大提升，能适应更复杂的应用场景。
Description
技术领域
本发明涉及相机技术领域，具体涉及一种用以获取目标物体的灰度图、彩色图和多光谱图像，实现多光谱图像数据的采集与分析的芯片级多光谱相机系统及其控制方法。
背景技术
多光谱相机是由传统的单色相机发展到现在的利用全彩色成像系统，它是一种利用目标不同谱段光辐射，来执行复杂的目标检查和分析的成像系统。现如今市面上的多光谱相机主要分为三种：
第一种是传统的光路分光光谱相机，例如专利号为201721249597.9，专利名为多光谱相机光学系统，通过固定镜组、光栅、调焦镜头组合实现可以变焦的多光谱相机系统；专利号为201710631928.3，专利名为多光谱相机、多光谱成像装置及控制方法，通过光学镜头、分光系统、面阵传感器实现了可进行波段分割、多波段同时曝光的多光谱相机系统；这种利用传统分光技术的光谱相机具备多组透镜、光栅等复杂光学系统，通常体积较大，因系统中光学器件过多，成本价格较高，系统稳定性差，使用场景受限。
第二种是滤光片式光谱相机，例如专利号为20161180137.5，专利名为一种轮转式多光谱相机自动曝光系统及调节方法，通过在探测器前增加滤光片轮转系统来变换滤光片，从而获取多波段图像；专利号为202021237206.3，专利名为多光谱相机，该实用新型专利通过光学与硬件结合实现单个镜头获取不同波段图像的问题；专利号为201910756348.3，专利名为一种一体化的光谱摄像镜头及光谱相机，利用镜头模组与电子滤光器组成一体化结构，利用电子滤光器调整透过光谱的波长实现光谱扫描成像；以及专利号CN111623874A，专利名为一种多光谱成像装置，同样是利用滤光片轮转系统事先多光谱数据采集。上述滤光片式光谱相机是通过多个滤光片组合，获得多个相应波段的多光谱图像，从多光谱图像估计每像素光谱反射率，该系统的缺点是增加滤光片轮转系统，更使相机体积重量增大。且不同的光谱波段并非同时采集，存在成像速度慢、图像配准复杂、几何失真不好校正、成像的精度较低等问题。此外，还存在因系统中包含机械运动部件(电动轮)，长时间使用会降低精度甚至损坏等问题，因此需要定期维护或更换。
第三种是多镜头式光谱相机，通过引入分束器元件可以让多个相机针对同一个目标同时捕获图像。例如，使用两个拜耳模式相机，可以捕获两个3波段图像并将其重建为6通道(2倍RGB)光谱图像。或者，拜耳相机可以与NIR相机结合使用，以产生4通道RGB+NIR输出。例如专利号为201921553603.9，专利名为一种多镜头光谱相机，通过滤色单元将入射镜头内的光线进行窄带滤波，每个镜头与图像传感器上的感光区域相对应实现不同窄带光谱的图像成像。专利号202110626134.4，专利名为一种无人机多光谱遥感数据采集和处理一体化系统及方法，利用内置特定波段窄带滤片和传感器的多光谱镜头模组、热红外镜头模组以及RGB镜头模组用以实现多光谱图像的采集。这种通过多个镜头与滤光器件、探测器组合，每个镜头对应一个光谱波段的光谱相机，虽然解决了轮转式滤光片相机无法同时成像的问题，但为此增加了多个镜头，成本较高，也导致此类多光谱相机仍然存在体积、重量较大，后期图像拼接导致分辨率下降的问题。
综上所述，如今常见的三种多光谱相机都存在着系统复杂，体积重量较大，成本较高等问题，从而限制了多光谱相机在诸多领域的进一步应用。
发明内容
鉴于上述问题，本发明的目的是提供一种芯片级多光谱相机系统及其控制方法，用于通过设计薄片型超透镜光学成像系统、多光谱图像芯片和电路，使得该光谱相机具备体积小巧、获取的信息量大、光谱覆盖范围广的特点。整个光谱相机系统无需复杂的分光系统或者滤光片轮转系统，重量更轻、便携性更强、且成本更低，可安装于无人机、车载等，应用于各种复杂场景的多光谱图片拍摄，以克服上述现有技术的不足。
本发明提供的芯片级多光谱相机系统，包括：超透镜成像光学模块、多光谱成像光电转换模块、光谱图像处理模块、电路模块；
其中，所述超透镜成像光学模块置于所述多光谱成像光电转换模块前，所述超透镜成像光学模块通过超透镜组间的相对位置改变焦距，将光线汇聚于所述多光谱成像光电转换模块上，完成成像；
其中，所述多光谱成像光电转换模块用于将物体图像的光信号转变成不同谱段的图像数字信号；
其中，所述光谱图像处理模块用于处理原始调制光谱数据，可实时对获取到的原始数据进行处理，最终得到相应灰度图、彩色图和多光谱图像，并将该算法固化在所述电路模块4中；其输出采用串行接口。
其中，所述电路模块包括：计算单元、存储单元、接口单元；所述计算单元用于承载光谱图像处理模块中算法的功能，用以进行光谱图像解调的相关计算，其中存储单元用于保存数据库以及采集到的光谱图像数据，其中接口单元是采用串行通信方式的接口；可根据使用需要在系统中集成cameralink、USB、MIPI等多种传输接口，使多光谱数据的传输与转存更加便利、快捷，实现数据灵活传输，也可配备电源供电单元等。
作为本发明的优选，所述超透镜成像光学模块包括：至少一片超透镜、IR-CUT截止滤波器；所述超透镜用于实现光场调制功能，所述超透镜包括：由在超透镜玻璃衬底表面上生长具有对入射光进行相位调制功能的微纳结构；所述IR-CUT截止滤波器用于根据不同场景的使用需求，透过工作谱段，滤除其他干扰光线，提高成像质量。
作为本发明的优选，所述超透镜玻璃衬底的材料选用入射波段具有高透过率的光学玻璃或石英等作为基底，所述微纳结构为二维亚波长纳米柱阵列结构。其中，所述纳米柱阵列结构为经过精算设计使得有效材料色散为零，周期性规则排布的纳米柱能在保证成像分辨率的同时使得景深增加，降低透镜成像的球差。通过调整纳米柱尺寸，对入射光进行相位控制，进而实现透镜成像的作用，通过1-3片超透镜，实现像差校正，焦距调节等功能，进而实现清晰成像。超材料微纳结构具有低损耗、超轻薄的优点，其对光场中振幅、相位和偏振的调控能力较灵活，且因超透镜二维平面结构加入新的自由度，还具备消除色差的属性，使得成像更加清晰、图像颜色更为准确。
作为本发明的优选，所述IR-CUT截止滤波器位于超透镜成像光学模块中超透镜后。透射紫外可见和近红外的350-950nm谱段，滤除其他谱段的干扰光线；也可以根据不同场景的使用需求，在350-950nm之间选择一个较窄的工作谱段，如手机成像常用的450-650nm，此IR-CUT截止膜并不会改变光线的聚焦位置等特性。
作为本发明的优选，所多光谱成像光电转换模块包括：光谱调制层和光电转换基底，所述光谱调制层用于将入射光的光谱进行区分，实现光谱分光，所述光电转换基底用于将透过光谱调制膜层的光信号转换为电信号，经过放大及模数转换、编码，输出原始调制光谱数据。
作为本发明的优选，所述光谱图像处理模块包括：光谱数据预处理单元和图像光谱转换单元，所述光谱数据预处理单元用于处理前述的原始调制光谱数据，可实时对获取到的原始数据进行处理，所述图像光谱转换单元用于将处理后的数字信号解调为灰度图、彩色图、多光谱图像，供用户使用。
作为本发明的优选，所述光谱数据预处理单元将原始图像进行去背景、去噪点、去噪声操作，对光谱图像进行去背景、去噪点以及去噪声处理，可根据探测器的噪声特性，将数字电信号中的背景噪声消除以及分析上述数字电信号中的噪点信号并将其滤除，同时采用插值法将该噪点位置的信息补齐；并分析上述数字电信号中的随机噪声并将其滤除；
所述图像光谱转换单元根据每个像素上的光谱对应已知的光谱透过率信息，修正对应像素的光信号强度，并结合所有像素的组合，最终反演出图像信息，得到相应的灰度图。
其中彩色图利用多光谱芯片本体分别测量多种色块或单一颜色样本的光谱信息，用Ij(N)表示，即Ij(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；由于每个色块的三基色值已知，即Ij(R,G,B)已知，假设存在变换矩阵[M]，使得下式成立，则上述过程描述为Ij(R,G,B)＝[M]·Ij(N)，其中Ij(R,G,B)与Ij(N)已知，则可得出光谱到颜色的变化矩阵[M]，最终输出彩色图。
其中多光谱图像信息，采用非负约束的范式极小化方法，对方程进行约束时，约束所采用的准则包括光谱连续性原则和空间均匀性原则。根据公式
O＝FX+n
其中，O为已知九宫格灰度值，F为已知光谱调制项，X为待测九谱段光谱，n为可测噪声项。上式为一个线性方程组，求解即可。
作为本发明的优选，所述超透镜成像光学模块、多光谱成像光电转换模块、光谱图像处理模块、电路模块整体采用SoC工艺进行封装。该工艺将上述多个功能的模块集成在一起，形成芯片级光谱相机系统，其中包含完整的硬件系统及其相应的光谱算法软件。
作为本发明的优选，所述光谱数据预处理单元和图像光谱转换单元固化在FPGA或者CPLD可编程逻辑电路当中。
本发明的另一个目的是提供一种芯片级多光谱相机系统的操作方法，包括以下步骤：
步骤S1：待测物体反射的信号进入超透镜成像光学模块，通过调整超透镜间的距离改变焦距，使得物体在像面上呈现清晰图像；
步骤S2：经超透镜聚焦后的清晰图像，经位于像面前方IR-CUT滤光片，滤除350nm-950nm以外的谱段，减少其他谱段对于成像的干扰；
步骤S3：经IR-CUT滤光后的光信号传递至多光谱成像光电转换模块的光谱调制层，对入射光信号加载调制信息；
步骤S4：多光谱成像光电转换模块的光电转换基底将调制信号转换成数字电信号，该信号含有多光谱图像信息；
步骤S5：经光电转换后的含有多光谱图像信息的电信号经光谱图像算法模块接收，并对其进行处理；
步骤S6：光谱图像算法模块中的光谱数据预处理单元对光谱图像进行去背景、去噪点以及去噪声处理，其中，可根据探测器的噪声特性，将数字电信号中的背景噪声消除以及分析上述数字电信号中的噪点信号并将其滤除，同时采用插值算法将该噪点位置的信息补齐；并分析上述数字电信号中的随机噪声并将其滤除；
步骤S7：光谱图像算法模块中的图像光谱转换单元将经预处理的图像进行转换最终得到相应灰度图、彩色图、多光谱图像。
本发明的优点及积极效果是：
1、本发明通过设计薄片型超透镜光学成像系统、多光谱图像芯片和电路，使得该光谱相机具备体积小巧、获取的信息量大、光谱覆盖范围广的特点。整个光谱相机系统无需复杂的分光系统或者滤光片轮转系统，重量更轻、便携性更强、且成本更低，可安装于无人机、车载等，应用于各种复杂场景的多光谱图片拍摄。
2、本发明的超透镜成像光学模块在实现光场调制功能的基础上，可根据不同场景的使用需求，透过工作谱段，滤除其他干扰光线，提高成像质量。
3、本发明的超透镜成像光学模块中的超材料微纳结构为二维亚波长纳米柱阵列结构，通过二维亚波长纳米柱阵列结构经过精算设计使得有效材料色散为零。周期性规则排布的纳米柱能在保证成像分辨率的同时使得景深增加，降低透镜成像的球差。通过调整纳米柱尺寸，对入射光进行相位控制，进而实现透镜成像的作用。
4、本发明通过1-3片超透镜，实现像差校正，焦距调节等功能，进而实现清晰成像。超材料微纳结构具有低损耗、超轻薄的优点，其对光场中振幅、相位和偏振的调控能力较灵活，且因超透镜二维平面结构加入新的自由度，还具备消除色差的属性，使得成像更加清晰、图像颜色更为准确。
5、本发明的超透镜成像光学模块中采用IR-CUT截止滤波器，通过IR-CUT截止滤波器透射紫外可见和近红外的350-950nm谱段，滤除其他谱段的干扰光线；也可以根据不同场景的使用需求，在350-950nm之间选择一个较窄的工作谱段，如手机成像常用的450-650nm，而且采用IR-CUT截止滤波器并不会改变光线的聚焦位置等特性。
6、本发明采用由光谱调制层和光电转换基底组成的多光谱成像光电转换模块，实现将光信号转换为电信号，经过放大及模数转换、编码，输出原始调制光谱数据。
7、本发明的光谱图像处理模块通过光谱数据预处理及图像光谱转换算法用于处理前述的原始调制光谱数据，可实时对获取到的原始数据进行处理，最终得到相应灰度图、彩色图和多光谱图像。
附图说明
图1是本发明系统的流程图。
图2是本发明的工作示意图。
图3是本发明的系统结构框图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
实施例1
本实施例提供的芯片级光谱相机系统，由超透镜成像光学模块1、多光谱成像光电转换模块2、光谱图像处理模块3及电路模块4组成。其中所述超透镜成像光学模块1由两片超透镜和一个IR-CUT滤光片组成，放置于多光谱成像光电转换模块2前，用于将待测物体的反射光线会聚于多光谱成像光电转换模块2上。多光谱成像光电转换模块2包括光谱调制层和光电转换基底，入射光经光谱调制层实现分光，获得拍摄物体的光信号，经光电转换模块实现数字信号或者编码输出；经过光谱图像处理模块中的光谱算法处理后，最终得到待测物体的灰度图、彩色图像、多光谱图像，光谱图像处理模块3可固化在FPGA或者CPLD等可编程逻辑电路当中，上述所有模块可利用SOC封装工艺封装到一块芯片上。
本实施例中的光谱调制层和光电转换基底采用专利号为2020101898385，专利名称为兼具光谱和成像功能的成像光谱芯片及其制备方法。
实施例2
本实施例提供的芯片级多光谱相机系统的操作方法，包括以下步骤：
步骤S1：待测物体反射的信号进入超透镜成像光学模块，通过调整超透镜间的距离改变焦距，使得物体在像面上呈现清晰图像；
步骤S2：经超透镜聚焦后的清晰图像，经位于像面前方IR-CUT滤光片，滤除350nm-950nm以外的谱段，减少其他谱段对于成像的干扰；
步骤S3：经IR-CUT滤光后的光信号传递至多光谱成像光电转换模块的光谱调制层，对入射光信号加载调制信息；
步骤S4：多光谱成像光电转换模块的光电转换基底将调制信号转换成数字电信号，该信号含有多光谱图像信息；
步骤S5：经光电转换后的含有多光谱图像信息的电信号经光谱图像算法模块接收，并对其进行处理；
步骤S6：光谱图像算法模块中的光谱数据预处理单元对光谱图像进行去背景、去噪点以及去噪声处理，其中，可根据探测器的噪声特性，将数字电信号中的背景噪声消除以及分析上述数字电信号中的噪点信号并将其滤除，同时采用插值算法将该噪点位置的信息补齐；并分析上述数字电信号中的随机噪声并将其滤除；
步骤S7：光谱图像算法模块中的图像光谱转换单元将经预处理的图像进行转换最终得到相应灰度图、彩色图、多光谱图像。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种芯片级多光谱相机系统，其特征在于，包括：超透镜成像光学模块、多光谱成像光电转换模块、光谱图像处理模块、电路模块；
其中，所述超透镜成像光学模块置于所述多光谱成像光电转换模块前，所述超透镜成像光学模块用于通过超透镜组间的相对位置改变焦距，将光线汇聚于所述多光谱成像光电转换模块上，完成成像；
其中，所述多光谱成像光电转换模块用于将物体图像的光信号转变成不同谱段的图像数字信号；
其中，所述光谱图像处理模块用于处理原始调制光谱数据，可实时对获取到的原始数据进行处理，最终得到相应灰度图、彩色图和多光谱图像，并将该算法固化在所述电路模块4中；
其中，所述电路模块包括：计算单元、存储单元、接口单元；所述计算单元用于承载光谱图像处理模块中算法的功能，用以进行光谱图像解调的相关计算，其中存储单元用于保存数据库以及采集到的光谱图像数据，其中接口单元是采用串行通信方式的接口。
2.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述超透镜成像光学模块包括：至少一片超透镜、IR-CUT截止滤波器；所述超透镜用于实现光场调制功能，所述超透镜包括：由在超透镜玻璃衬底表面上生长具有对入射光进行相位调制功能的微纳结构；所述IR-CUT截止滤波器用于根据不同场景的使用需求，透过工作谱段，滤除其他干扰光线，提高成像质量。
3.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述超透镜玻璃衬底的材料选用入射波段具有高透过率的光学玻璃或石英等作为基底，所述微纳结构为二维亚波长纳米柱阵列结构。
4.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述IR-CUT截止滤波器位于超透镜成像光学模块中超透镜后。
5.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所多光谱成像光电转换模块包括：光谱调制层和光电转换基底，所述光谱调制层用于将入射光的光谱进行区分，实现光谱分光，所述光电转换基底用于将透过光谱调制膜层的光信号转换为电信号，经过放大及模数转换、编码，输出原始调制光谱数据。
6.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述光谱图像处理模块包括：光谱数据预处理单元和图像光谱转换单元，所述光谱数据预处理单元用于处理前述的原始调制光谱数据，可实时对获取到的原始数据进行处理，所述图像光谱转换单元用于将处理后的数字信号解调为灰度图、彩色图、多光谱图像，供用户使用。
7.根据权利要求6所述的一种芯片级多光谱相机系统，其特征在于，所述光谱数据预处理单元将原始图像进行去背景、去噪点、去噪声操作，对光谱图像进行去背景、去噪点以及去噪声处理，可根据探测器的噪声特性，将数字电信号中的背景噪声消除以及分析上述数字电信号中的噪点信号并将其滤除，同时采用插值法将该噪点位置的信息补齐；并分析上述数字电信号中的随机噪声并将其滤除；
所述图像光谱转换单元根据每个像素上的光谱对应已知的光谱透过率信息，修正对应像素的光信号强度，并结合所有像素的组合，最终反演出图像信息，得到相应的灰度图。
其中彩色图利用多光谱芯片本体分别测量多种色块或单一颜色样本的光谱信息，用Ij(N)表示，即Ij(N)为光谱测量值，是已知数，N表示N种光谱透过率不同的滤光薄膜材料，j表示第j个色块；由于每个色块的三基色值已知，即Ij(R,G,B)已知，假设存在变换矩阵[M]，使得下式成立，则上述过程描述为Ij(R,G,B)＝[M]·Ij(N)，其中Ij(R,G,B)与Ij(N)已知，则可得出光谱到颜色的变化矩阵[M]，最终输出彩色图。
其中多光谱图像信息，采用非负约束的范式极小化方法，对方程进行约束时，约束所采用的准则包括光谱连续性原则和空间均匀性原则。根据公式
O＝FX+n
其中，O为已知九宫格灰度值，F为已知光谱调制项，X为待测九谱段光谱，n为可测噪声项。上式为一个线性方程组，求解即可。
8.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述超透镜成像光学模块、多光谱成像光电转换模块、光谱图像处理模块、电路模块整体采用SoC工艺进行封装。
9.根据权利要求1所述的一种芯片级多光谱相机系统，其特征在于，所述光谱数据预处理单元和图像光谱转换单元固化在FPGA或者CPLD可编程逻辑电路当中。
10.一种芯片级多光谱相机系统的操作方法，其特征在于，包括以下步骤：
步骤S1：待测物体反射的信号进入超透镜成像光学模块，通过调整超透镜间的距离改变焦距，使得物体在像面上呈现清晰图像；
步骤S2：经超透镜聚焦后的清晰图像，经位于像面前方IR-CUT滤光片，滤除350nm-950nm以外的谱段，减少其他谱段对于成像的干扰；
步骤S3：经IR-CUT滤光后的光信号传递至多光谱成像光电转换模块的光谱调制层，对入射光信号加载调制信息；
步骤S4：多光谱成像光电转换模块的光电转换基底将调制信号转换成数字电信号，该信号含有多光谱图像信息；
步骤S5：经光电转换后的含有多光谱图像信息的电信号经光谱图像算法模块接收，并对其进行处理；
步骤S6：光谱图像算法模块中的光谱数据预处理单元对光谱图像进行去背景、去噪点以及去噪声处理，其中，可根据探测器的噪声特性，将数字电信号中的背景噪声消除以及分析上述数字电信号中的噪点信号并将其滤除，同时采用插值算法将该噪点位置的信息补齐；并分析上述数字电信号中的随机噪声并将其滤除；
步骤S7：光谱图像算法模块中的图像光谱转换单元将经预处理的图像进行转换最终得到相应灰度图、彩色图、多光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210400130.9A CN114689174A (zh) | 2022-04-15 | 2022-04-15 | 一种芯片级多光谱相机系统及其操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210400130.9A CN114689174A (zh) | 2022-04-15 | 2022-04-15 | 一种芯片级多光谱相机系统及其操作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114689174A true CN114689174A (zh) | 2022-07-01 |
Family
ID=82143444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210400130.9A Pending CN114689174A (zh) | 2022-04-15 | 2022-04-15 | 一种芯片级多光谱相机系统及其操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114689174A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116625509A (zh) * | 2023-07-24 | 2023-08-22 | 长春长光辰谱科技有限公司 | 基于双带通滤光片的双谱段成像光谱仪 |
-
2022
- 2022-04-15 CN CN202210400130.9A patent/CN114689174A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116625509A (zh) * | 2023-07-24 | 2023-08-22 | 长春长光辰谱科技有限公司 | 基于双带通滤光片的双谱段成像光谱仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7491936B2 (en) | Thermal imaging cameras | |
| US5790188A (en) | Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system | |
| CN106456070B (zh) | 成像装置和方法 | |
| CN110017897B (zh) | 一种紧凑型单目多通道可组合式多光谱成像系统 | |
| Fisher et al. | Comparison of low-cost hyperspectral sensors | |
| CN112672054B (zh) | 对焦方法、装置及电子设备 | |
| Mu et al. | Snapshot hyperspectral imaging polarimetry with full spectropolarimetric resolution | |
| CN115885311A (zh) | 用于数字光学像差校正和光谱成像的系统和方法 | |
| CN108507674B (zh) | 一种光场光谱成像光谱仪的标定数据处理方法 | |
| Nocerino et al. | Geometric calibration and radiometric correction of the maia multispectral camera | |
| CN104713648A (zh) | 一种全波段消色差滤片式光谱相机 | |
| Hubold et al. | Ultra-compact micro-optical system for multispectral imaging | |
| CN113358224A (zh) | 一种光谱反射率检测方法及系统 | |
| CN114689174A (zh) | 一种芯片级多光谱相机系统及其操作方法 | |
| CN112098345A (zh) | 基于lvf的自校正无人机高光谱成像探测系统及方法 | |
| US11092489B2 (en) | Wide-angle computational imaging spectroscopy method and apparatus | |
| CN108227044B (zh) | 一种基于双线阵的雨滴测量装置及方法 | |
| CN105444888A (zh) | 一种高光谱成像系统的色差补偿方法 | |
| Davis et al. | Calibration, characterization, and first results with the Ocean PHILLS hyperspectral imager | |
| CN110631703A (zh) | 一种基于可调谐滤光片的单像素光谱成像系统 | |
| CN210862922U (zh) | 一种基于可调谐滤光片的单像素光谱成像系统 | |
| CN204495469U (zh) | 一种全波段消色差滤片式光谱相机 | |
| Vunckx et al. | Accurate video-rate multi-spectral imaging using imec snapshot sensors | |
| CA2775621A1 (en) | Scanning multispectral telescope comprising wavefront analysis means | |
| Hollinger et al. | The fluorescence line imager: an imaging spectrometer for ocean and land remote sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |