CN113739915A - 一种光谱仪、摄像模组及终端设备 - Google Patents
一种光谱仪、摄像模组及终端设备 Download PDFInfo
- Publication number
- CN113739915A CN113739915A CN202010890876.3A CN202010890876A CN113739915A CN 113739915 A CN113739915 A CN 113739915A CN 202010890876 A CN202010890876 A CN 202010890876A CN 113739915 A CN113739915 A CN 113739915A
- Authority
- CN
- China
- Prior art keywords
- filter
- angle
- optical
- component
- spectrometer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 94
- 230000003287 optical effect Effects 0.000 claims abstract description 397
- 230000036544 posture Effects 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 56
- 230000003595 spectral effect Effects 0.000 claims description 71
- 238000004886 process control Methods 0.000 claims description 16
- 230000001846 repelling effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000004044 response Effects 0.000 description 62
- 238000010586 diagram Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000000926 separation method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 4
- 229910052757 nitrogen Inorganic materials 0.000 description 4
- 229910052698 phosphorus Inorganic materials 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910001172 neodymium magnet Inorganic materials 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012742 biochemical analysis Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001615 p wave Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 229910000938 samarium–cobalt magnet Inorganic materials 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0229—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0278—Control or determination of height or angle information for sensors or receivers
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种光谱仪、摄像模组及终端设备,用于解决现有技术中光谱仪无法小型化的问题。光谱仪可作为独立的光谱检测设备,也可应用于终端设备。光谱仪包括:角度敏感滤光片在第一驱动组件的驱动下处于N个不同的姿态,角度敏感滤光片在每个姿态下允许包括混叠的M个不同波段的第一光信号通过;波长选通组件用于将第一光信号分离为离散的且波段不同的M个第二光信号;镜头组件用于将第一光信号汇聚至波长选通组件,或将M个第二光信号汇聚至图像传感器;图像传感器用于记录接收到的M个第二光信号的强度信息;处理控制组件用于根据接收到的M个第二光信号的强度信息,确定成像光谱信息。如此,不需要平移角度敏感滤光片,有助于光谱仪的小型化。
Description
相关申请的交叉引用
本申请要求在2020年5月28日提交中国专利局、申请号为202010468935.8、申请名称为“一种光学系统及成像方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及光谱分析技术领域,尤其涉及一种光谱仪、摄像模组及终端设备。
背景技术
光谱仪可应用于食品检测、环境监测、生化分析、照明监测、生物特征识别等领域。随着检测需求越来越多,光谱仪的应用越来越广泛。光谱仪可以测量谱线不同波长处的强度信息。
基于不同的成像原理,常见的光谱仪主要包括:基于光栅的光谱仪和基于多滤光片的光谱仪。基于光栅的光谱仪的成像原理:平行光照射到反射光栅后,不同波长的光以不同发射角出射,并在成像元件的不同位置汇聚成像,以实现光谱分析。基于多个滤光片的光谱仪的工作原理:入射光穿过不同的滤光片后,具有不同的光谱响应,并在成像元件成像,以实现光谱分析。
但是,现有光谱仪需要平移和转动多个滤光片,难以实现光谱仪的小型化。特别是随着智能手机技术以及云数据处理与分析能力的提升,智能手机与光谱仪的结合成为重要的发展方向,这对光谱仪的小型化提出了更高的要求。
发明内容
本申请提供一种光谱仪、摄像模组及终端设备,用于小型化光谱仪。
第一方面,本申请提供一种光谱仪,该光谱仪包括:角度敏感滤光片、波长选通组件、镜头组件、图像传感器、第一驱动组件和处理控制组件;所述第一驱动组件用于驱动所述角度敏感滤光片处于N个不同的姿态;所述角度敏感滤光片用于在所述N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,所述第一光信号包括混叠的M个不同波段的光信号;所述波长选通组件用于将接收到的所述第一光信号分离为离散的M个第二光信号,所述M个第二光信号的波段互不相同;所述镜头组件用于将接收到的所述第一光信号汇聚至所述波长选通组件,或者,将接收到的所述M个第二光信号汇聚至所述图像传感器;所述图像传感器用于记录接收到的所述M个第二光信号的强度信息;所述处理控制组件用于根据所述M个第二光信号的强度信息,确定成像光谱信息,所述N为大于1的整数,所述M为大于1的整数。
基于上述光谱仪,通过波长选通组件可获得M个离散的第二光信号,从而可获得完整的光谱信息,相较于现有技术中允许单个波段通过的角度敏感滤光片,该角度敏感滤光片允许M(大于1)个波段的光信号通过,有助于提高光谱覆盖范围,从而可实现更广范围的光谱检测。而且,基于上述光谱仪,不需要对角度敏感滤光片进行平移,因此,有助于光谱仪的小型化。另外,本申请中的光谱仪可以实现成像和光谱检测双重功能。
在一种可能的实现方式中,波长选通组件可为时域波长选通组件或空域波长选通组件,如下分情形说明。
情形一,波长选通组件为时域波长选通组件。
基于该结构一,所述时域波长选通组件用于在M个时段中的每个时段,允许所述第一光信号中的一个波段的光信号通过,得到所述M个第二光信号,所述M个时段与所述M个第二光信号一一对应。
通过上述时域波长选通组件,可以将包括混叠的M个不同波段的第一光信号,分离为离散的M个第二光信号,可使得光谱检测较为精确,且不影响光谱仪的成像质量。
进一步,可选地,所述时域波长选通组件包括M个第一滤光片、第一固定组件和第二驱动组件,所述M个第一滤光片分布于所述第一固定组件,所述M个第一滤光片中所允许通过的光信号的波段互不相同,所述M个第一滤光片与所述M个第二光信号一一对应;所述第二驱动组件,用于在所述M个时段中的每个时段,驱动所述第一固定组件切换位置,以带动所述M个第一滤光片中的一个第一滤光片与所述图像传感器对应。
通过第二驱动组件在一个时段驱动一个第一滤光片与图像传感器对应,可实现对应的一个波段的光信号通过第一滤光片,从而可在M个时段,将包括混叠的M个不同波段的第一光信号分离为离散的M个第二光信号,进而可使得光谱检测较为精确。
在一种可能的实现方式中,所述图像传感器具体用于在所述M个时段中的每个时段,分别记录接收到第二光信号的强度信息,得到M×M个第二光信号的强度信息;所述处理控制组件具体用于根据所述M×M个第二光信号的强度信息,确定所述成像光谱信息。
如此,可使得图像传感器记录较多的第二光信号强度信息,处理控制组件可基于较多的第二光强度信息来确定成像光谱信息,从而使得确定出的成像光谱信息更接近真实情况。
情形二,所述波长选通组件为空域波长选通组件。
基于该情形二,所述图像传感器包括H个像素,所述H为大于或等于M的整数;所述空域波长选通组件用于将接收到的所述第一光信号分离为离散的所述M个第二光信号,并将所述M个第二光信号分别传播至对应的像素。
通过上述空域波长选通组件,可以将包括混叠的M个不同波段的第一光信号,分离为离散的M个第二光信号,使得光谱检测较为精确,且不影响成像质量。
进一步,可选地,所述空域波长选通组件包括H个第二滤光片,所述H个第二滤光片与所述H个像素一一对应;所述H个第二滤光片中的每个第二滤光片用于允许所述第一光信号中的一个波段的光信号通过,得到一个第二光信号,并将所述第二光信号传播至所述第二滤光片对应的像素。
通过一个第二滤光片允许一个波段的光信号通过,H个第二滤光片包括M类,每一类允许一个波段的光信号通过,M类允许通过的光信号的波长互不相同,如此,H个第二滤光片可将包括混叠的M个不同波段的第一光信号分离为独立的离散的第二光信号。
在一种可能的实现方式中,所述H个像素中的每个像素用于接收来自对应的第二滤光片所允许通过的第二光信号的强度信息;所述处理控制组件用于接收来自所述H个像素中每个像素的第二光信号的强度信息,并根据光谱复原算法,确定每个像素对应的M个第二光信号的强度信息,并根据所述M个第二光信号的强度信息,确定所述成像光谱信息。
如此,每个像素可记录一个波段的第二光信号的强度信息,处理控制组件可基于每个像素记录的第二光信号的强度信息,并通过光谱复原算法,可确定出每个像素全部光谱信息。
在一种可能的实现方式中,所述波长选通组件位于所述角度敏感滤光片与所述镜头组件之间;或者,所述波长选通组件位于所述镜头组件与所述图像传感器之间。
在一种可能的实现方式中,所述角度敏感滤光片的N个姿态对应N个入射角度,所述入射角度为来自所述被摄物体的光线与所述角度敏感滤光片的法线之间的夹角;所述其中,所述λ1M为来自所述被摄物体的光线以最小入射角度射入所述角度敏感滤光片时,所述第一光信号中的最大波长;所述λM1为来自所述被摄物体的光线以最大入射角度射入所述角度敏感滤光片时,所述第一光信号中的最小波长,所述wpq为λpq波段的半高宽度,所述p和q均为大于0且小于M的整数。
通过上述方式,可确定出角度敏感滤光片可处于的姿态数量。N值越大,得到的成像光谱信息越精确。
在一种可能的实现方式中,所述第一驱动组件包括转轮与连接杆,所述连接杆的一端与所述角度敏感滤光片固定,所述连接杆的另一端与所述转轮固定;所述连接杆用于在所述转轮转动时,带动所述角度敏感滤光片绕第一转轴转动,使所述角度敏感滤光片处于所述N个不同的姿态。
该第一驱动组件的结构较简单,有助于光谱仪的成型。
在一种可能的实现方式中,所述第一驱动组件包括电磁元件和磁性元件,所述电磁元件与所述镜头组件固定,所述磁性元件与所述角度敏感滤光片固定,且所述电磁元件与所述磁性元件相对设置;所述电磁元件用于在通入N个不同电流时,吸附或排斥所述磁性元件绕第二转轴转动,使所述磁性元件带动所述角度敏感滤光片处于所述N个不同的姿态,所述N个不同电流与所述N个不同姿态一一对应。
在一种可能的实现方式中,所述电磁元件与所述镜头组件通过第三固定组件固定,所述电磁元件位于所述第三固定组件靠近所述角度敏感滤光片的面上,所述镜头组件嵌入所述第三固定组件中;所述磁性元件与所述角度敏感滤光片通过第四固定组件固定,所述磁性元件位于所述第四固定组件靠近所述镜头组件的面上,所述角度敏感滤光片嵌入所述第四固定组件中。
该第一驱动组件的结构较为紧凑,有助于光谱仪进一步的小型化。
在一种可能的实现方式中,所述处理控制组件还用于控制所述第一驱动组件以驱动所述角度敏感滤光片处于所述N个不同的姿态。
在一种可能的实现方式中,所述图像传感器包括动态与主动式像素视觉传感器DAVIS。
通过DAVIS,可以实现光谱的实时检测;而且,DAVIS可以捕捉帧与帧之间的变化信息。
第二方面,本申请提供一种光谱仪,该光谱仪包括角度敏感滤光片、镜头组件、图像传感器、第一驱动组件和处理控制组件,所述处理控制组件中存储有光谱分离引擎;所述第一驱动组件用于驱动所述角度敏感滤光片处于N个不同的姿态,所述N为大于1的整数;所述角度敏感滤光片用于在所述N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,所述第一光信号包括混叠的M个不同波段的光信号,所述M为大于1的整数;所述镜头组件用于将接收到的所述第一光信号汇聚至所述图像器传感器;所述图像传感器用于记录所述第一光信号的强度信息;所述处理控制组件用于通过所述光谱分离引擎,根据所述第一光信号的强度信息以及M个波段,确定所述M个波段分别对应的第二光信号的强度信息,得到M个第二光信号的强度信息,并根据所述M个第二光信号的强度信息,确定成像光谱信息。
基于上述光谱仪,通过光谱分离引擎可获得M个离散的第二光信号,从而可获得完整的光谱信息,相较于现有技术中允许单个波段通过的角度敏感滤光片,该角度敏感滤光片允许M(大于1)个波段的光信号通过,有助于提高光谱覆盖范围,从而可实现更广范围的光谱检测。而且,M个离散的第二光信号是通过光谱分离引擎,不需要额外引入物理结构,从而有助于光谱仪的小型化。
在一种可能的实现方式中,所述角度敏感滤光片的N个姿态对应N个入射角度,所述入射角度为来自所述被摄物体的光线与所述角度敏感滤光片的法线之间的夹角;所述其中,所述λ1M为来自所述被摄物体的光线以最小入射角度射入所述角度敏感滤光片时,所述第一光信号中的最大波长;所述λM1为来自所述被摄物体的光线以最大入射角度射入所述角度敏感滤光片时,所述第一光信号中的最小波长,所述wpq为λpq波段的半高宽度,所述p和q均为大于0且小于M的整数。
通过上述方式,可确定出角度敏感滤光片可处于的姿态数量。N值越大,得到的成像光谱信息越精确。
在一种可能的实现方式中,所述第一驱动组件包括转轮与连接杆,所述连接杆的一端与所述角度敏感滤光片固定,所述连接杆的另一端与所述转轮固定;所述连接杆用于在所述转轮转动时,带动所述角度敏感滤光片绕第一转轴转动,使所述角度敏感滤光片处于所述N个不同的姿态。
该第一驱动组件的结构较简单,有助于光谱仪的成型。
在一种可能的实现方式中,所述第一驱动组件包括电磁元件和磁性元件,所述电磁元件与所述镜头组件固定,所述磁性元件与所述角度敏感滤光片固定,且所述电磁元件与所述磁性元件相对设置;所述电磁元件用于在通入的N个不同电流时,吸附或排斥所述磁性元件绕第二转轴转动,使所述磁性元件带动所述角度敏感滤光片处于所述N个不同的姿态,所述N个不同电流与所述N个不同姿态一一对应。
在一种可能的实现方式中,所述电磁元件与所述镜头组件通过第三固定组件固定,所述电磁元件位于所述第三固定组件靠近所述角度敏感滤光片的面上,所述镜头组件嵌入所述第三固定组件中;所述磁性元件与所述角度敏感滤光片通过第四固定组件固定,所述磁性元件位于所述第四固定组件靠近所述镜头组件的面上,所述角度敏感滤光片嵌入所述第四固定组件中。
该第一驱动组件的结构较为紧凑,有助于光谱仪进一步的小型化。
在一种可能的实现方式中,所述处理控制组件还用于控制所述第一驱动组件以驱动所述角度敏感滤光片处于所述N个不同的姿态。
在一种可能的实现方式中,所述图像传感器包括动态与主动式像素视觉传感器DAVIS。
通过DAVIS,可以实现光谱的实时检测;而且,DAVIS可以捕捉帧与帧之间的变化信息。
第三方面,本申请提供一种终端设备,该终端设备可包括:第一摄像模组和第二摄像模组;所述第一摄像模组包括光谱仪,所述光谱仪包括角度敏感滤光片、第一镜头组件、第一图像传感器、第一驱动组件和第一处理控制组件;所述第一驱动组件用于驱动所述角度敏感滤光片处于N个不同的姿态,所述N为大于1的整数;所述角度敏感滤光片用于在所述N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,所述第一光信号包括混叠的M个不同波段的光信号,所述M为大于1的整数;所述第一镜头组件用于将接收到的所述第一光信号汇聚至所述图像器传感器;所述第一图像传感器,用于记录接收到的所述N个第一光信号的强度信息;所述第一处理控制组件用于根据所述N个第一光信号的强度信息,确定第一成像光谱信息;所述第二摄像模组用于在与所述第一图像传感器时钟同步后,从来自所述被摄物体的光线中获取第二成像光谱信息,所述第二成像光谱信息包括离散的N×M个第二光信号;所述第一摄像模组或所述第二摄像模组,用于根据所述第一成像光谱信息和所述第二成像光谱信息,确定成像光谱信息。
在一种可能的实现方式中,所述第二摄像模组包括第二镜头组件、第二图像传感器、H个第二滤光片和第二处理控制组件,所述第二图像传感器包括H个像素,所述H个第二滤光片与所述H个像素一一对应;所述第二镜头组件,用于将来自所述被摄物体的光线汇聚至所述H个第二滤光片中的每个滤光片;所述H个第二滤光片中的每个滤光片,用于将汇聚后的光线中的对应波段的光信号通过,得到第二光信号;所述H个像素中的每个像素,用于在与所述第一图像传感器时钟同步后,记录接收到的第二光信号的强度信息,得到M个所述第二光信号的强度信息;所述第二处理控制组件,用于接收来自所述第二图像传感器的N×M个第二光信号的强度信息,并根据所述N×M个第二光信号的强度信息,确定所述第二成像光谱信息。
进一步,可选地,第二摄像模组可为终端设备的主摄。
在一种可能的实现方式中,所述第一驱动组件包括转轮与连接杆,所述连接杆的一端与所述角度敏感滤光片固定,所述连接杆的另一端与所述转轮固定;所述连接杆用于在所述转轮转动时,带动所述角度敏感滤光片绕第一转轴转动,使所述角度敏感滤光片处于所述N个不同的姿态。
在一种可能的实现方式中,所述第一驱动组件包括电磁元件和磁性元件,所述电磁元件与所述镜头组件固定,所述磁性元件与所述角度敏感滤光片固定,且所述电磁元件与所述磁性元件相对设置;所述电磁元件用于在通入N个不同电流时,吸附或排斥所述磁性元件绕第二转轴转动,使所述磁性元件带动所述角度敏感滤光片处于所述N个不同的姿态,所述N个不同电流与所述N个不同姿态一一对应。
在一种可能的实现方式中,所述电磁元件与所述镜头组件通过第三固定组件固定,所述电磁元件位于所述第三固定组件靠近所述角度敏感滤光片的面上,所述镜头组件嵌入所述第三固定组件中;所述磁性元件与所述角度敏感滤光片通过第四固定组件固定,所述磁性元件位于所述第四固定组件靠近所述镜头组件的面上,所述角度敏感滤光片嵌入所述第四固定组件中。
在一种可能的实现方式中,所述第一处理控制组件还用于控制所述第一驱动组件以驱动所述角度敏感滤光片处于所述N个不同的姿态。
在一种可能的实现方式中,所述第一图像传感器包括动态与主动式像素视觉传感器DAVIS。
第四方面,本申请提供一种摄像模组,该摄像模组可包括上述第一方面或第一方面中的任一光谱仪、以及处理器,所述处理器用于对所述光谱仪的成像光谱信息进行处理。
第五方面,本申请提供一种终端设备,该终端设备可包括上述第一方面或第一方面中的任一所述的光谱仪、以及处理器,所述处理器用于对所述光谱仪的成像光谱信息进行处理。
上述第三方面至第五方面中任一方面可以达到的技术效果可以参照上述第一方面或第二方面中有益效果的描述,此处不再重复赘述。
附图说明
图1为本申请提供的一种角度敏感滤光片的入射角度与光谱响应的关系示意图;
图2为本申请提供的一种角度不敏感滤光片的光谱响应示意图;
图3为本申请提供的一种角度敏感滤光片的光谱响应示意图;
图4为本申请提供的一种光谱仪的结构示意图;
图5a为本申请提供的一种角度敏感滤光片的入射角度与光谱响应的关系示意图;
图5b为本申请提供的另一种角度敏感滤光片的入射角度与光谱响应的关系示意图;
图6为本申请提供的另一种角度敏感滤光片的光谱响应示意图;
图7为本申请提供的一种像素的位置、滤光片夹角以及光束之间的关系示意图;
图8为本申请提供的一种第一驱动组件的结构示意图;
图9a~图9d为本申请提供的另一种第一驱动组件的结构示意图;
图10为本申请提供的一种时域波长选通组件的工作原理示意图;
图11a为本申请提供的一种时域波长选通组件的结构示意图;
图11b为本申请提供的一种时域波长选通组件的工作原理示意图;
图12a为本申请提供的一种空域波长选通组件为滤光片阵列的结构示意图;
图12b为本申请提供的一种RGGB四个滤光片阵列示意图;
图12c为本申请提供的一种RYYB四个滤光片阵列示意图;
图12d为本申请提供的一种RGB三个滤光片阵列示意图;
图12e为本申请提供的一种RGB三个滤光片阵列示意图;
图13为本申请提供的一种像素阵列的示意图;
图14a为本申请提供的一种图像传感器的工作原理示意图;
图14b为本申请提供的另一种图像传感器的工作原理示意图;
图15为本申请提供的一种镜头组件的结构示意图;
图16为本申请提供的又一种光谱仪的结构示意图;
图17a~图17b为本申请提供的一种光谱仪的工作过程示意图;
图18为本申请提供的又一种光谱仪的结构示意图;
图19a~图19b为本申请提供的一种光谱仪的工作过程示意图;
图20为本申请提供的又一种光谱仪的结构示意图;
图21a~图21b为本申请提供的一种光谱仪的工作过程示意图;
图22为本申请提供的又一种光谱仪的结构示意图;
图23a为本申请提供的一种光谱仪的工作过程示意图;
图23b为本申请提供的一种光谱分离引擎的工作过程示意图;
图24a为本申请提供的一种终端设备的结构示意图;
图24b为本申请提供的一种终端设备的工作过程示意图;
图25为本申请提供的另一种终端设备的结构示意图。
具体实施方式
下面将结合附图,对本申请实施例进行详细描述。
以下,对本申请中的部分用语进行解释说明。需要说明的是,这些解释是为了便于本领域技术人员理解,并不是对本申请所要求的保护范围构成限定。
一、光谱仪
光谱仪可用于测量光谱的不同波长处的强度信息,其中,光谱是复色光经过色散系统分光后,被色散开的单色光按波长(或频率)大小依次排列形成的。光谱仪可将复色光分离成光谱线。也就是说,光谱仪可将辐射源的辐射的复色光分离出所需要的波长或波长区域,并在选定的波长上(或扫描某一波段)进行强度测定。
二、去马赛克算法(demosaiking)
去马赛克算法也可称为解马赛克算法,在每个像素上覆盖上某个滤光片(例如红绿蓝滤光片中的一个),每个像素只能接收到覆盖在其上的滤光片所允许通过的波段(例如某一颜色)的光线,该像素需要通过近邻的像素接收到的波段的光线,通过插值算法,获取完整光谱。
三、入射角度
本申请中,光线的入射角度是指入射光线(即入射光线的方向)与滤光片的法线之间的夹角,请参阅图1,其中,α表示入射角度。应理解,滤光片的光轴方向即为滤光片的法线方向。
四、半高全宽(full width at half maximum,FWHM)
FWHM也称为半高宽或半峰宽,指的是吸收谱带高度最大处高度为一半时谱带的全宽。即峰值高度一半时的透射峰宽度,可参见下述图3中的(c)。
五、角度敏感滤光片的姿态
角度敏感滤光片的姿态可以用角度敏感滤光片的中心位置、旋转轴向量以及旋转角度来表征。通常,角度敏感滤光片固定后,角度敏感滤光片的中心位置以及旋转向量是固定的,因此,可用旋转角度θ可表征角度敏感滤光片的姿态,一个旋转角度可表征一个姿态。示例性地,角度敏感滤光片的中心位置位于镜头组件的光轴上,旋转向量为Z轴或平行于Z轴,可参阅下述图7。
六、滤光片
滤光片可用于选取所需波段。基于是否对角度敏感,滤光片可分为角度敏感片和角度不敏感滤光片。如下对角度敏感滤光片和角度不敏感滤光片分别进行示例性地的介绍。
角度不敏感滤光片是指光线以不同入射角度射向角度不敏感滤光片时,光线具有相同的光谱响应特性,光谱响应特性可指不同波长的透射率或反射率。如图2所示,为本申请提供的一种角度不敏感滤光片的光谱响应示意图。由图2中的(a)、图2中的(b)和图2中的(c)可知,光线以不同的入射角度入射到角度不敏感滤光片时,光谱响应(即透射率)无明显变化。对于角度不敏感滤光片,从各个角度望向滤光片,角度不敏感滤光片的颜色均是相同的。常见的角度不敏感滤光片,例如红色(red,R)滤光片、绿色(green,G)滤光片、蓝色(blue,B)滤光片,其中,R滤光片为允许红色光信号通过的滤光片,G滤光片为允许绿色光信号通过的滤光片,B滤光片为允许蓝色光信号通过的滤光片,图2是以G滤光片示例的。
角度敏感滤光片是指光线以不同入射角度射向角度敏感滤光片时,光线具有的光谱响应特性是不同的。参阅图3,示例性的示出了一种角度敏感滤光片的光谱响应示意图。由图3中的(a)、图3中的(b)和图3中的(c)可知,光线以不同的入射角度入射到角度敏感滤光片时,光谱响应(即透射率)发生了变化,且随着入射角度的增大,光谱响应向短波方向移动。也就是说,随着入射角度的增大,从角度敏感滤光片通过的光谱向短波方向平移。对于角度敏感滤光片,从不同角度望向角度敏感滤光片,角度敏感滤光片的颜色会从蓝色变化到绿色再变化到红色。
如背景技术描述,目前的光谱仪的成像光路均较长,难以实现光谱仪的小型化。鉴于此,本申请提出一种光谱仪,该光谱仪的整体结构较为紧凑,有助于实现光谱仪的小型化。
下面结合附图4至附图23a,对本申请提出的光谱仪进行具体阐述。
在下文的介绍中,λ11波段的光信号是指光信号的中心波长为λ11、半高宽为w11;λ12波段的光信号是指光信号的中心波长为λ12、半高宽为w12;λ13波段的光信号是指光信号的中心波长为λ13、半高宽为w13。以λ11波段为例,角度敏感滤光片允许λ11波段的光信号通过,指光线(即入射光线)射向角度敏感滤光片后,λ11波段的光信号可透过角度敏感滤光片,该透过角度敏感滤光片的λ11波段也称为入射光线的响应波段。
基于上述内容,如图4所示,为本申请提供的一种光谱仪的结构示意图。该光谱仪可包括角度敏感滤光片401、波长选通组件402、镜头组件403、图像传感器404、第一驱动组件405和处理控制组件406;所述第一驱动组件405用于驱动所述角度敏感滤光片401处于N个不同的姿态,例如,第一驱动组件405驱动角度敏感滤光片401旋转,每处于一个位置可表示角度敏感滤光片处于一个姿态,图4中一个虚线处可表示处于一个姿态,所述N为大于1的整数;所述角度敏感滤光片401用于在所述N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,所述第一光信号包括混叠的M个不同波段的光信号,所述M为大于1的整数;角度敏感滤光片401可位于镜头组件403靠近被摄物体的一侧,来自被摄物体的光线先经角度敏感滤光片401调制后,再传播至镜头组件403或波长选通组件402。所述波长选通组件402用于将接收到的第一光信号分离为离散的M个第二光信号,所述M个第二光信号的波段互不相同;所述镜头组件403用于将接收到的所述第一光信号汇聚至所述波长选通组件402,或者,将接收到的所述M个第二光信号汇聚至所述图像器传感器404;所述图像传感器404用于记录接收到的所述M个第二光信号的强度信息;所述处理控制组件406用于根据所述M个第二光信号的强度信息,确定成像光谱信息。其中,光谱指的是复色光经过色散系统(如棱镜、光栅)分光后,被色散开的单色光按波长(或频率)大小而依次排列的图案,光谱信息指的是记录光谱的信息。
应理解,图4是以镜头组件403用于将接收到第一光信号汇聚至波长选通组件402为例示例的,若镜头组件403位于波长选通组件402和图像传感器404之间,则镜头组件用403于将接收到的所述M个第二光信号汇聚至所述图像器传感器404。
基于上述光谱仪,通过角度敏感滤光片和波长选通组件,图像传感器可获得M个离散的第二光信号,从而可获得完整的光谱信息,相较于现有技术中允许单个波段的光信号通过的角度敏感滤光片,该角度敏感滤光片允许M(大于1)个波段的光信号通过,有助于提高光谱覆盖范围,从而可实现更广范围的光谱检测。而且,基于上述光谱仪,不需要对角度敏感滤光片进行平移,因此,有助于光谱仪的小型化。另外,本申请中的光谱仪可以实现成像和光谱检测双重功能。
下面对图4所示的各个功能组件和结构分别进行介绍说明,以给出示例性的具体实现方案。为方便说明,下文中的角度敏感滤光片、波长选通组件、镜头组件、图像传感器、第一驱动组件和处理控制组件未加标识。
一、角度敏感滤光片
在一种可能的实现方式中,角度敏感滤光片具有以下两个特点:1)在每个入射角度下,角度敏感滤光片的光谱响应为M峰形式,即在每个入射角度下,角度敏感滤光片允许M个不同波段的光信号通过;2)当入射角度增大时,光谱响应向短波方向平移,即波长向短波方向发生平移。应理解,每个波段的光信号的半高宽要尽可能的窄,但每个波段的半高全宽可以相同,也可以不相同;每波段的透射率可以相同,也可以不相同,本申请对此均不做限定。
需要说明的是,本申请中角度敏感滤光片的光谱响应也可为单峰形式,即在每个入射角度下,角度敏感滤光片允许一个波段的光信号通过。
如图5a所示,为本申请提供的一种角度敏感滤光片的入射角度与光谱响应的关系示意图。其中,入射角度可参见上述图1的介绍,此处不再重复赘述。该示例中,以角度敏感滤光片的光谱响应为单峰形式为例,即在一个入射角度下,该角度敏感滤光片允许一个波段的光信号通过。当射入角度敏感滤光片的入射光线的入射角度α为α1时,角度敏感滤光片允许λ1波段的光信号通过,该λ1波段即为响应波段;当射入角度敏感滤光片的入射光线的入射角度α为α2时,角度敏感滤光片允许λ2波段的光信号通过,该λ2波段即为响应波段;当射入角度敏感滤光片的入射光线的入射角度α为αp时,角度敏感滤光片允许λp波段的光信号通过,该λp波段即为响应波段。随着入射角度α的增大,响应波段的波长向短波方向移动。也就是说,射入角度敏感滤光片的光线的入射角度在[α1,αp]范围内,对应的响应波段在[λp,λ1]范围内,各参数满足以下关系:
α1<α2<…<αp
λ1>λ2>…>λp
其中,λ1波段具有半高宽为w1、λ2波段具有半高宽为w2、λp波段具有半高宽为wp。应理解,λ1波段、λ2波段和λp波段的半高宽可以相同(即w1=w2=…=wp),也可以不相同,本申请对此不做限定。另外,λ1波段、λ2波段和λp波段是三个不同的波段、且互不重叠。
如图5b所示,为本申请提供的另一种角度敏感滤光片的入射角度与光谱响应的关系示意图。该示例中,以角度敏感滤光片的光谱响应为多峰形式,即在一个入射角度下,角度敏感滤光片允许多个波段的光信号通过。当射入角度敏感滤光片的入射光线的入射角度为α1时,角度敏感滤光片允许λ11波段的光信号、λ12波段的光信号…λ1q波段的光信号…λ1M波段的光信号通过。当射入角度敏感滤光片的入射光线的入射角度为α2时,角度敏感滤光片允许λ21波段的光信号、λ21波段的光信号…λ2q波段的光信号…λ2M波段的光信号通过;当射入角度敏感滤光片的入射光线的入射角度为αp时,角度敏感滤光片允许λp1波段的光信号、λp2波段的光信号…λpq波段的光信号…λpM波段的光信号通过。也就是说,射入角度敏感滤光片的光线的入射角度在[α1,αp]范围内,对应允许通过光信号的波段在[λp1,λ1M]范围,各参数满足以下关系:
1<q≤M
α1<α2<…<αp
λ1q>λ2q>…>λpq…>…>λpM
其中,λ11具有半高宽为w11,λ12具有半高宽为w12,…λ1q具有半高宽为w1q,…λ1M具有半高宽为w1M,w11、w12、w1q和w1M可以相同,也可以不相同,本申请对此不做限定。同样的,λ21具有半高宽为w21,λ21具有半高宽为w22,λ2q具有半高宽为w2q…λ2M具有半高宽为w2M,w21、w22、w2q和w2M可以相同,也可以不相同,本申请对此不做限定。λp1具有半高宽为wp1,λp2具有半高宽为wp2,λpq具有半高宽为wpq,…λpM具有半高宽均为wpM;其中,wp1、wp2、wpq和wpM可以相同(如w1q=w2q=…=wpq.....wpM,q取遍1至M中的每个值),也可以不相同,本申请对此不做限定。随着入射角度α的增大,波段向短波方向移动,因此,λ11>λ12>…>λ1M>λ21>λ22>…>λ2M。
示例性地,如图6所示,为本申请提供的一种角度敏感滤光片的光谱响应示意图。该角度敏感滤光片的光谱响应为三峰形式(M=3),对应的光学参数为:在入射角度为0°时,在475nm±(w/2)具有一个响应波段、535nm±(w/2)具有一个响应波段、595nm±w具有一个响应波段;在入射角度为10°时,在465nm±(w/2)具有一个响应波段、525nm±(w/2)具有一个响应波段、585nm±(w/2)具有一个响应波段;在入射角度为20°时,在455nm±(w/2)具有一个响应波段、515nm±(w/2)具有一个响应波段、575nm±(w/2)具有一个响应波段;在入射角度为30°时,在445nm±(w/2)具有一个响应波段、505nm±(w/2)具有一个响应波段、565nm±(w/2)具有一个响应波段;在入射角度为40°时,在435nm±(w/2)具有一个响应波段、495nm±(w/2)具有一个响应波段、555nm±(w/2)具有一个响应波段;在入射角度为50°时,在425nm±(w/2)具有一个响应波段、485nm±(w/2)具有一个响应波段、545nm±(w/2)具有一个响应波段。进一步,可选地,每个响应波段的半高全宽可为16nm。
通过该角度敏感滤光片,有助于提高角度敏感滤光片的副高范围。例如,允许单个波段的光信号通信的角度敏感滤光片可覆盖的光谱范围约为60mm,图6所示的角度敏感滤光片可覆盖的范围约为425nm~595nm共170nm的范围。
如下,示例性地的示出了一种射入角度敏感滤光片的光线的入射角的确定方式。
结合上述图4,来自空间被摄物体的光线经过镜头组件和波段选通组件后,汇聚至图像传感器上。由于镜头组件的孔径通常远小于被摄物体到镜头组件的距离,因此,来自被摄物体的光线可以近似为平行光线。当角度敏感滤光片的姿态确定时,则来自被摄物体的光线射入角度敏感滤光片的入射角度也是确定的。请参阅图7,来自被摄物体的平行光线射入角度敏感滤光片的入射角度为α,图像传感器包括像素阵列,像素阵列可为W*H阵列,以像素P为例,以像素P在像素阵列中的坐标为(i,j)(即第i行第j列),像素P的中心位置坐标P(xp,yp,zp),像素P的尺寸(即大小)为t(单位通常为毫米),焦距为f,镜头组件的中心点位置坐标A(xa,ya,za),角度敏感滤光片的中心点位置坐标B(xb,yb,zb),镜头组件的光轴向量V0(xv0,yv0,zv0),角度敏感滤光片绕z轴的旋转角度为θ,角度敏感滤光片的法线方向V1(xv1,yv1,zv1),基于这些参数,可确定像素P对应的平行光线射入角度敏感滤光片的入射角α,即像素P对应的平行光线的空间方向。
具体计算过程如下:由(i,j)、f、t、W*H和A(xa,ya,za),可确定像素P的三维位置(xp,yp,zp),即xp=xa+(j–W/2)*t,yp=ya–f,zp=za+(i–H/2)*t;由V0和θ可确定V1,即V1(xv1,yv1,zv1)=(xv0*sinθ,yv0*cosθ,zv0);由B和V1可确定滤光片的平面∑0,即xv1*(x-xb)+yv1*(y-yb)+zv1*(z-zb)=0;由P和A可确定光线PA(设斜率为k),即(x-xa)/(xp-xa)=(y-ya)/(yp-ya)=(z-za)/(zp-za)=k;由光线PA和平面∑0可确定交点C的空间坐标,即(xc,yc,zc)=PA∩∑0;由P和C可确定PC之间的距离,即disPC=sqrt((xp-xc)2+(yp-yc)2+(zp-zc)2);由P和∑0可确定P到∑0的距离:disP=abs(xv1*(xp-xb)+yv1*(yp-yb)+zv1*(zp-zb))/sqrt((xv1)2+(yv1)2+(zv1)2),由disPC和disP,可求得夹角α=arccos(disP/disPC)。
换言之,通过上述方式,角度敏感滤光片在任意姿态下,均可确定出任意像素对应的入射角度α。需要说明的是,来自被摄物体的光线的空间方向是固定的,当角度敏感滤光片处于一个固定的姿态时,对于不同的像素,确定出的入射角度是不同的。
本申请中,为了尽可能的使得确定出完整的光谱信息,角度敏感滤光片的所处的姿态N满足以下关系:所述λ1M为来自所述被摄物体的光线以最小入射角度射入所述角度敏感滤光片时,所述第一光信号中的最大波长;所述λM1为来自所述被摄物体的光线以最大入射角度射入所述角度敏感滤光片时,所述第一光信号中的最小波长,所述wpq为λpq波段的半高宽度,所述p和q均为大于0且小于M的整数。为了便于方案的说明,以每个波段的半高宽度相等为例,所述N≥(λ1M–λM1)/(M×w)×2,其中,所述w为每个波段的宽度。
结合上述图6所示的角度敏感滤光片的光学参数,λ1M为425nm,λM1为595nm,每个波段的半高宽均为w,w=16nm,可以计算得到角度敏感滤光片可以处于的姿态的数量N≥(595-425)/(16+16)*2=10.6。进一步,N可取11,即角度敏感滤光片可处以11个姿态。需要说明的是,角度敏感滤光片的姿态的数量也可以取12个或更多个。当然,角度敏感滤光片的姿态的数量也可以取10个或9个或更少的,本申请对此不做限定。
二、第一驱动组件
在一种可能的实现方式中,所述第一驱动组件用于驱动所述角度敏感滤光片处于N个不同的姿态。例如,第一驱动组件可用于驱动角度敏感滤光片绕固定轴旋转,以实现角度敏感滤光片处于N个不同的姿态。进一步,可选地,角度敏感滤光片可以进行往复旋转。
需要说明的是,角度敏感滤光片处于不同的姿态时,对应来自被摄物体的光线的入射角是不同的,即角度敏感滤光片的姿态、入射角度、旋转角度三者一一对应。
结合上述图1,第一驱动组件可用于驱动角度敏感滤光片绕z轴旋转,旋转角度可用θ表示(可参见上述图7),旋转角度θ是指角度敏感滤光片的法线与镜头组件的光轴之间的夹角),θ存在极限值。例如,-50°≤θ≤50°,其中,±50°即为旋转角度θ的极限值。进一步,可选地,第一驱动组件可以驱动角度敏感滤光片匀速转动,以角度敏感了滤光片取11个姿态为例,例如,θ∈{-50°,-40°,-30°,-20°,-10°,0°,10°,20°,30°,40°,50°},其中,θ=-50°可对应姿态1,θ=-40°可对应姿态2,依次类推,θ=50°对应姿态11。第一驱动组件也可以驱动角度敏感滤光片非匀速转动,例如,θ∈{-50°,-45°,-20°,-15°,-10°,0°,20°,25°,35°,45°,50°},其中,θ=-50°对应姿态1,θ=-45°可对应姿态2,依次类推,θ=50°对应姿态11。也就是说,姿态1可对应角度敏感滤光片的第一极限位置(即+θmax位置),姿态N可对应角度敏感滤光片的第二极限位置(即-θmax位置);或者,姿态1可对应角度敏感滤光片的第一极限位置(即-θmax位置),姿态N可对应角度敏感滤光片的达第二极限位置(即+θmax位置)。
第一驱动组件可驱动角度敏感滤光片匀速转动,也可以做非匀速转动,θ的取值包括但不限于上述示例。另外,角度敏感滤光片的初始姿态(即第一个姿态)不一定是从极限位置开始,也可以从小于极限位置的任意位置开始,本申请对此不做限定。
如下示例性示出了两种第一驱动组件的结构,以驱动角度敏感滤光片处于N个不同的姿态。
结构1,第一驱动组件包括转轮和连接杆。
如图8所示,为本申请提供的一种第一驱动组件的结构示意图。第一驱动组件包括转轮4051与连接杆4052,所述连接杆4052的一端与所述角度敏感滤光片401固定,所述连接杆4052的另一端与所述转轮固定。当转轮4051做圆周运动时,连接杆4052可带动角度敏感滤光片401转动,以使角度敏感滤光片401处于N个不同的姿态。
在一种可能的实现方式中,角度敏感滤光片401可通过第二固定组件407固定。具体地,第二固定组件407包括第一转轴4071以及与连接杆的配合处4072。进一步,可选地,角度敏感滤光片401可绕第一转轴转动4071。第二固定组件与连接杆的配合处4072可以是凸出部,相应地,连接杆与第二固定组件的配合处的可以是凹陷部;或者,第二固定组件与连接杆的配合处4072可以是凹陷部,相应地,连接杆与第二固定组件的配合处的可以是凸出部;其中,凸出部可嵌套于凹陷部。例如,凸出部可以是圆柱体,凹陷部可以是凹槽或孔,圆柱体可嵌套于凹槽或孔内。
示例性地,第二固定组件407包括的四个边框,四个边框围设于角度敏感滤光片401的四周。第二固定组件与连接杆的配合处4072分别设置于两个相对的边框上,第一转轴4071与第二固定组件与连接杆的配合处4072设置于同一个边框上。进一步,可选地,第一转轴4071可分别设置在两个相对的边框的中心区域。应理解,转轮4051的位置、第二固定组件与连接杆的配合处4072的位置决定了角度敏感滤光片401绕第一转轴4071往复转动的极限位置。
进一步,可选地,可通过第三驱动组件驱动转轮做圆周运动,即第三驱动组件可固定于转轮与第三驱动组件配合40511处。其中,第三驱动组件可以是驱动电机或伺服电机。需要说明的是,第三驱动组件可以与第一驱动组件405集成在一起,也可以是两个独立的驱动组件,本申请对此不做限定。
结构2,所述第一驱动组件包括电磁元件和磁性元件。
如图9a所示,为本申请提供的另一种第一驱动组件的结构示意图。所述第一驱动组件包括电磁元件4054和磁性元件4053,所述电磁元件4054与所述磁性元件4053相对设置,所述电磁元件4054与所述镜头组件403固定,所述磁性元件4054与所述角度敏感滤光片401固定。所述电磁元件4054用于在通入N个不同电流大小,吸附或排斥所述磁性元件4053绕第二转轴4091转动,使得所述磁性元件4053带动所述角度敏感滤光片401处于N个不同的姿态,所述N个不同电流与所述N个不同姿态一一对应。其中,图9b为图9a的侧视图。
进一步,可选地,电磁元件4054与镜头组件403可通过第三固定组件408固定。示例性地,请参阅图9c,镜头组件403可嵌入第三固定组件408中,电磁元件4054位于第三固定组件408靠近角度敏感滤光片401的面上,具体可位于第三固定组件408的A1/B1/C1/D1四个位置。换言之,第三固定组件408的A1/B1/C1/D1四个位置分别设置有电磁元件A1、电磁元件B1、电磁元件C1和电磁元件D1;向电磁元件通入电流(例如直流电流)时,电磁元件4054相当于在z方向上的电磁铁。需要说明的是,电磁元件4054可以是电磁线圈。若电磁元件4054为电磁线圈时,等价的电磁铁的N极(或S极)指向z轴的正方向还是负方向,取决于电磁线圈的缠绕方向和通入的电流方向。
在一种可能的实现方式中,磁性元件4053与所述角度敏感滤光401片可通过第四固定组件409固定。示例性地,参阅图9d,角度敏感滤光片401可嵌入第四固定组件409中,磁性元件4053位于第四固定组件409靠近镜头组件403的面上,具体可位于第四固定组件409的A2/B2/C2/D2四个位置。换言之,第四固定组件409的A2/B2/C2/D2四个位置分别设置有磁性元件A2、磁性元件B2、磁性元件C2和磁性元件D2。磁性元件A2、磁性元件B2、磁性元件C2和磁性元件D2的N极和S极沿着z轴方向。其中,第二转轴4091位于第四固定组件的对称轴上。需要说明的是,磁性元件4053可以是永磁体,例如铁氧永磁体、钐钴磁体、钕铁硼磁体,其中优选钕铁硼磁体。
结合上述图9c和图9d,所述第一驱动组件包括电磁元件A1、电磁元件B1、电磁元件C1、电磁元件D1、磁性元件A2、磁性元件B2、磁性元件C2和磁性元件D2,其中,电磁元件A1与磁性元件A2相对设置,电磁元件B1与磁性元件B2相对设置,电磁元件C1与磁性元件C2相对设置,电磁元件D1与磁性元件D2相对设置。进一步,可选地,向电磁元件通入电流时,在一种状态下,电磁元件B1与磁性元件B2之间为斥力、电磁元件D1与磁性元件D2之间为斥力、电磁元件A1与磁性元件A2之间为吸力、电磁元件C1与磁性元件C2之间为吸力;在另一种状态下,B1与B2之间为吸力、D1与D2之间为吸力、A1与A2之间为斥力、C1与C2之间为斥力,如此,可实现角度敏感滤光片绕第四固定组件的转轴转动。
需要说明的是,可通过增大或减小电流的大小,以改变角度敏感滤光片的旋转角度θ;可选取适当的时间,改变电磁元件的电流方向,磁作用力即可带动第四固定组件做往复旋转。另外,上述电磁元件4054也可通过第四固定组件409与角度敏感滤光片401固定,磁性元件4053可通过第三固定组件408与镜头组件403固定。也就是说,电磁元件4054和磁性元件4053也可以互换位置,原来设置电磁原件4054的位置设置为磁性元件4053,原来设置磁性元件4053的位置设置为电磁元件4054。应理解,电磁元件连接有导线,占用的空间比较大,通常将电磁元件固定,磁性元件可随角度敏感滤光片转动。
通过上述第一驱动组件,可驱动角度敏感滤光片转动,即可使得角度敏感滤光片处于N个不同的姿态,不需要平移角度敏感滤光片,从而有助于光谱仪的小型化。
三、波长选通组件
在一种可能的实现方式中,来自被摄物体的光线经过角度敏感滤光片后,得到第一光信号,第一光信号包括混叠的M个不同波段的光信号,即这M个不同的波段的光信号是混叠在一起的。为了获得单独的每个波段的光信号,可通过波长选通组件将包括混叠的M个不同的波段的第一光信号分离为离散的M个第二光信号。
在一种可能的实现方式中,波长选通组件可位于所述角度敏感滤光片靠近所述被摄物体的一侧;或者,所述波长选通组件位于所述角度敏感滤光片与所述镜头组件之间;或者,所述波长选通组件位于所述镜头组件与所述图像传感器之间。
示例性地,波长选通组件可为时域波长选通组件(或称为时序波长选通组件)或空域波长选通组件,如下分情形进行介绍。
情形一,波长选通组件为时域波长选通组件。
在一种可能的实现方式中,时域波长选通组件用于控制在哪些时段允许哪些波段的光信号通过。换言之,时域波长选通组件可在不同时段允许不同波段的光信号通过。通常,在一个时段允许一个波段的光信号通过。
结合上述图5b,以角度敏感滤光片处于两个姿态为例,这两个姿态以对应的入射角度分别为α1和αp为例。当入射角度为α1时,角度敏感滤光片允许λ11波段的光信号、λ12波段的光信号…λ1q波段的光信号…λ1M波段的光信号通过;当入射角度为αp时,角度敏感滤光片允许λp1波段的光信号、λp2波段的光信号…λpq波段的光信号…λpM波段的光信号通过。
示例性地,如图10所示,角度敏感滤光片处于一个姿态时,在δt1时段,时域波长选通组件允许λ11波段的光信号通过,并传输至图像传感器;在δt2时段,时域波长选通组件允许λ12波段的光信号通过,并传输至图像传感器;在δt3时段,时域波长选通组件允许λ13波段的光信号通过,并传输至图像传感器。即一个时段,允许一个波段的光信号通过。
需要说明的是,上述δt1时段、δt2时段和δt3时段的时长可以是相同的,也可以是不相同的,本申请对此不做限定。
请参阅图11a,示例性地的示出了本申请提供的一种时域波长选通组件的结构示意图。该时域波长选通组件可包括三个滤光片(例如,下述图11b所示的长通滤光片、中通滤光片和短通滤光片)、第一固定组件和第二驱动组件,其中,长通滤光片、中通滤光片和短通滤光片可分布于第一固定组件的F1、F2、F3三个位置,F1、F2、F3三个位置可均匀分布于第一固定组件上。
需要说明的是,三个位置上的滤光片的尺寸均与镜头组件的孔径大小相同。也就是说,F1位置的滤光片可完全覆盖图像传感器,F2位置的滤光片也可完全覆盖图像传感器,F3位置的滤光片可完全覆盖图像传感器。
进一步,可选地,第二驱动组件可用于带动第一固定组件以C为中心绕y轴旋转切换,在一个时段,时域波长选通组件允许一个波段光信号通过。即在一个时段,时域波长选通组件可从接收到的第一光信号中提取出一个波段的光信号。示例性地,在δt1时段,第二驱动组件驱动位于F1位置的滤光片(长通滤光片)覆盖于图像传感器上,处于F1位置的长通滤光片可允许对应波段的光信号通过;在δt2时段,第二驱动组件驱动位于F2位置的中通滤光片覆盖于图像传感器上,处于F2位置的中通滤光片可允许对应波段的光信号通过;在δt3时段,第二驱动组件驱动位于F3位置的短通滤光片覆盖于图像传感器上,处于F3位置的短通滤光片可允许对应波段的光信号通过。也就是说,包括三个混叠的不同波段的第一光信号透过时域波长选通组件,可在不同的时段被提取出单个波段的第二光信号,即通过时域波长选通组件可对第一光信号进行分离。
示例性地,第一固定组件可为圆形轮盘,第二驱动组件可以是驱动电机或伺服电机。圆形轮盘可在电机的驱动下转动,在不同的时段,一个滤光片可切换到覆盖图像传感器。其中,第二驱动组件可以与第一驱动组件集成在一起,也可以是两个独立的驱动组件,本申请对此不做限定。
需要说明的是,第二驱动组件可以驱动第一固定组件沿顺时针方向转动,也可以驱动第一固定组件沿逆时针方向转动,本申请对此不做限定。
还需要说明的是,时域选通组件包括的滤光片的数量大于或等于M。例如,M=3,时域波长选通组件可包括至少3个滤光片(可参阅图11a);若M=5,时域波长选通组件可包括至少5个滤光片。
长通滤光片、中通滤光片和短通滤光片是根据滤光片允许通过的波段范围划分的。通常,长通滤光片、中通滤光片和短通滤光片是角度不敏感滤光片,即针对一个滤光片,各个入射角度下允许通过的光线的波长是固定的。请参阅图11b,对于长通滤光片,波长大于540nm且小于600nm的光信号可以通过,小于540nm的光信号被截止;对于中通滤光片,波长大于480nm且小于540nm的光信号可以通过,小于480nm和大于540nm的光信号均被截止;对于短通滤光片,波长大于420且小于480nm的光信号可以通过,大于480nm波长的光信号被截止。
情形二,波长选通组件为空域波长选通组件。
在一种可能的实现方式中,空域波长选通组件可以控制哪些位置的像素可以接收哪些特定波段的光信号。
在一种可能的实现方式中,空域波长选通组件可以为拜耳滤光片阵列。如图12a所示,为本申请提供的一种空域波长选通组件为滤光片阵列的结构示意图。该滤光片阵列中最小可重复单元为#1#2#2#3,其中,#1#2#2#3可形成2*2的阵列,#1允许第一波段的光信号通过,#2允许第二波段的光信号通过,#3允许第三波段的光信号通过,且第一波段、第二波段和第三波段是不同的波段。例如,#1允许通过的波段为540nm~600nm,#2允许通过的波段为480nm~540nm,#3允许通过的波段为420nm~480nm。
例如,最小可重复单元为#1#2#2#3可为RGGB,如图12b所示,RGGB四个滤光片可形成2*2的阵列,R滤光片为允许红色光信号滤过的滤光片;G滤光片为允许绿色光信号滤过的滤光片;B滤光片为允许蓝色光信号滤过的滤光片。空域波长选通组件上的滤光片可以以图12b所示的RGGB为最小可重复单元进行排列。其中,每个G滤光片的四周,分布着两个R滤光片、两个B滤光片和四个G滤光片。也就是说,空域波长选通组件中G滤光片的数量是其它两种颜色的滤光片的数量的2倍。
再比如,最小可重复单元为#1#2#2#3可为RYYB四个滤光片,如图12c所示,RYYB四个滤光片可形成2*2的阵列,其中,R滤光片为允许红色光信号滤过的滤光片;Y滤光片为允许红色光信号和绿色光信号滤过的滤光片;B滤光片为允许蓝色光信号滤过的滤光片。也就是说,空域波长选通组件中Y滤光片的数量是其它两种颜色的滤光片的数量的2倍。
在又一种可能的实现方式中,彩色滤光片阵列中的最小可重复单元也可为RGB三个滤光,如图12d所示,RGB三个滤光片可形成1*3的阵列或3*1的阵列。其中,R滤光片、G滤光片和B滤光片可参见上述图12b的介绍,此处不再赘述。
或者,彩色滤光片阵列中的最小可重复单元为RYB三个滤光,如图12e所示,RYB三个滤光片可形成1*3的阵列或3*1的阵列。其中,R滤光片、Y滤光片和B滤光片可参见上述图12c的介绍,此处不再赘述。
需要说明的是,彩色滤光片可具备几何对称形状(例如正方形、正六边形等),滤光片相互之间可紧密排列成阵列,阵列中的有效阵列区域整体上可呈长方形或者正方形。可以理解的是,当滤光片为正方形时,滤光片相互之间紧密排列,整体可呈正方形或长方形;当滤光片为正六边形时,滤光片相互之间紧密排列整体上大致可呈长方形或正方形,边缘可能会不整齐。
四、图像传感器
在一种可能的实现方式中,图像传感器包括像素阵列,像素可以为光电探测器(photon detector,PD),或单光子雪崩二极管(single-photon avalanche diode,SPAD)、高速光电二极管、或电荷耦合器件(charge coupled device,CCD)、或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。如图13所示,为本申请提供的一种像素阵列的示意图。该像素阵列包括5*5个像素,每个像素可用于记录接收到的第二光信号的强度信息。
示例性地,图像传感器为传统CMOS传感器,传统CMOS传感器为主动式像素视觉传感器(active-pixel vision sensor,APS),该传感器在一个采集周期内可以输出一帧完整的图像。
参阅图14a,以角度敏感滤光片做匀速圆周运动为例,旋转角度间隔δθ=(2*θmax)/N,在一个采集周期内,从T1时刻到T1+δt时刻,即在δt时段,角度敏感滤光片从姿态1旋转到姿态2,图像传感器将在δt这段时间内完成曝光,并存储这帧图像,记做#1帧;随着角度敏感滤光片的匀速转动,图像传感器每隔δt采集一帧图像,直到角度敏感滤光片到达姿态N,这一过程一共采集了N帧图像,即角度敏感滤光片每处于一个姿态,图像传感器可采集到一帧图像。这N帧图像被传输至处理控制组件,用来计算全光谱信息。在下一个采集周期,角度敏感滤光片可从姿态N回到姿态1,图像传感器同样可采集N帧图像,这N帧图像也可被传输至处理控制组件,以使处理控制组件根据这N帧图像完成全光谱信息的计算。
在另一种可能的实现方式中,图像传感器可以为新型的CMOS传感器,新型的CMOS传感器为动态与主动式像素视觉传感器(dynamic and active-pixel vision sensor,DAVIS)。DAVIS包括APS和动态视觉传感器(dynamic vision sensor,DVS),其中,APS在一个采集周期内输出一帧完整图像,同时DVS具有动态视觉属性,可以反馈事件信号(eventsignal),即当某个像素的亮度变化累计到达一定阈值后即可输出一个事件。
参阅图14b,以角度敏感滤光片做匀速圆周运动为例,旋转角度间隔δθ=(2*θmax)/N。在一个采集周期内,从T1时刻到T1+δt时刻,滤光片从姿态1旋转到姿态2,在N×δt时段,角度敏感滤光片从姿态1旋转到姿态N,DAVIS在N×δt完成曝光,其中,APS用于存储N×δt的平均图像,DVS用于存储每个δt时间段中的事件信号。也可以理解为,DVS用于记录每个像素变亮还是变暗,即记录的是强度变化值,并不记录实际的强度值;APS用于记录实际的强度值。需要说明的是,APS可以记录像素的强度信息,但是需要较长的曝光时间(比如30ms),DVS可以记录强度变化信息,需要较短的曝光时间(微秒量级)。
在T1时刻到T1+N×δt时刻,图像传感器存储了一帧平均图像和N帧事件信号。这一帧平均图像和N帧事件信号均可被传输至处理控制组件,以使处理控制组件完成全光谱信息的计算。在下一个采集周期内,角度敏感滤光片可从姿态N回到姿态1,同样可采集一帧平均图像和N帧事件信号,这一帧平均图像和N帧事件信号也可被传输至处理控制组件。
这种新型传感器摆脱了传统的图像传感器受制于帧频的缺点,可以记录运动极快物体的运动过程。这种动态视觉传感器与传统的主动式像素视觉传感器相结合新型传感器,就可以实现对高速运动场景的完整记录,即APS记录一段时间的平均图像,DVS记录这段时间里的所有像素的变化情况,两组图像通过图像处理算法可以得到高帧率的图像。也就是说,APS在一个30ms内的平均图像,加上每个短时间间隔(可能3ms)的DVS强度变化值,即可得到所需的图像。
进一步,可选地,图像传感器可对得到的图像进行去噪、增强、分割虚化等处理,以丰富用户体验。
本申请中,图像传感器可为黑白图像传感器,黑白图像传感器目前比较成熟,光谱仪可直接利用现有成熟的黑白图像传感器,如此可降低光谱仪的成本。
在一种可能的实现方式中,图像传感器的分辨率范围可为[800万像素,4800万像素]。示例性地的,图像传感器的分辨率可为800万像素、1200万像素、2000万像素、或4800万像素等。其中,分辨率是指摄像模组中的图像传感器上可用于成像的最大像素的数量。通常以横向像素点的数量和纵向像素点的数量的乘积来衡量,即分辨率=水平像素点数×竖直像素点数。
五、处理控制组件
在一种可能的实现方式中,该处理控制模块可用于控制第一驱动组件驱动角度敏感滤光片转动。例如,当光谱检测功能启动时,启动第一驱动组件;当光谱检测功能关闭时,关闭第一驱动组件。应理解,控制第一驱动组件驱动角度敏感滤光片的还可以是光谱仪之外的其它处理控制装置,例如,光谱仪应用于终端设备中时,可以是终端设备中的处理器等。
在一种可能的实现方式中,该处理控制组件还可用于控制第二驱动组件驱动时域波长选通组件在不同时段,切换至不同的位置。结合上述图11a,处理控制组件可用于控制第二驱动组件驱动长通滤光片、中通滤光片和短通滤光片在不同的时段,分别与图像传感器对应,可实现每个时段可以对应分离出角度敏感滤光片的响应子波段(即一个波段的第二光信号),进而确保在一个时段,该像素采集的强度值正好对应于该第二光信号的强度;在下一时段,切换波长选通组件的允许通过的波段,以获得另外一个波段的第二光信号的强度。
在一种可能的实现方式中,结合上述空域波长选通组件,在预先知道每个像素覆盖的空域选通组件的响应波段的情况下,通过上述角度敏感滤光片分离出的响应子波段(一个波段的第二光信号),确保当前的该像素采集的强度值正好对应于该响应子波段的强度,该像素的邻近像素将对应于具有其他响应波段(即其它第二波段的光信号)的空域选通组件,该处理控制组件还可用于使用这些邻近像素的对应响应子波段强度可以用来协助计算该像素的另外子波段强度,例如利用去马赛克算法。
在一种可能的实现方式中,该处理控制组件还可用于确定像素P对应的平行光线射入角度敏感滤光片的入射角α。也就是说,上述射入角度敏感滤光片的入射角α的确定过程可由处理控制组件执行。
进一步,可选地,该处理控制组件还可用于设定角度敏感滤光片的旋转速度。例如,当图像传感器的刷新率为Afps,每个采集周期需要N幅图像,且极限位置为θmax时,滤光片的旋转角速度可表示为floor(N/2)/A/θmax,单位为s/deg,表示旋转状态变化1deg需要的时间。
在一种可能的实现方式中,该处理控制组件还可用于确定图像传感器的实拍图像与角度敏感滤光片的姿态之间的对应关系,即将采集到的图像与角度敏感滤光片所处姿态进行匹配。示例性地,每次从图像传感器获取到当前采集图像时,都需要获得该图像所对应的角度敏感滤光片姿态,角度敏感滤光片所处的姿态可以是第一驱动组件实时向该处理控制组件反馈,或其它传感器监测角度敏感滤光片的姿态并实时反馈至该处理控制组件。
结合上述图14a,处理控制组件接收到来自图像传感器的N帧图像后,获得了每一帧图像的每一个像素的强度值,再根据前面的时域或空域的波长选通组件的状态,确切定位每个像素所对应的单个波段,把这个强度值赋给这个波段,从而可构成光谱信息(例如光谱曲线)。
可以理解的是,当角度敏感滤光片依次位于N个姿态,图像传感器完成整个采集周期之后,处理控制组件可以获得完整光谱响应信息,可以以光谱图像立方体的形式呈现(即当前场景在不同光谱波段下的图像,也可以以当前图像在不同像素的全光谱响应曲线的形式呈现。
六、镜头组件
作为示例,图15给出了一种镜头组件的结构示意图。该镜头组件包括第一透镜4031和第二透镜4032。其中,第一透镜4031为平凸透镜、第二透镜4032为凸凹透镜,其中,凸凹透镜是指中央部分比边缘部分薄的透镜。第一透镜4031相较于第二透镜4032靠近角度敏感滤光片,远离图像传感器。第二透镜4032相较于第一透镜4031靠近图像传感器,远离角度敏感滤光片。
应理解,图15所示的镜头组件的结构仅是一个示例。本申请中的镜头组件可以具有比图15更多的透镜,例如可以包括3个以上的透镜。其中,透镜可以是双凸透镜,平凸透镜或者凸凹透镜中的任一种,本申请对此不做限定。
基于上述内容,下面结合具体的硬件结构,给出上述光谱仪的四种具体实现方式。以便于进一步理解上述光谱仪的结构及通过光谱仪获取光谱信息的过程。
示例一,光谱仪包括单峰(M=1)角度敏感滤光片、镜头组件、图像传感器和处理控制组件。
在该示例一中,单峰角度敏感滤光片是指角度敏感滤光片允许一个波段的光通过。如图16所示,为本申请提供的又一种光谱仪的结构示意图。该光谱仪可包括角度敏感滤光片、镜头组件和图像传感器。其中,单峰角度敏感滤光片、镜头组件、图像传感器和处理控制组件可分别参见上述相关介绍,例如,单峰角度敏感滤光片可参见上述图5a的介绍,镜头组件可参见上述图15的介绍,图像传感器可参见上述图14a或图14b的介绍,此处不再重复赘述。
基于上述图16所示的光谱仪,如图17a和图17b所示,为本申请提供的一种光谱仪的工作过程示意图。对于图像传感器包括的任意像素P,当角度敏感滤光片处于某一姿态时,根据上述图7中确定入射角度的方式,可确定出来自被摄物体的光线与角度敏感滤光片的法线之间的夹角(即入射角度)α,不同的入射角度α下,角度敏感滤光片允许通过的光信号的波段不同。
结合上述图5a,当入射角度为α1(即处于姿态1)时,角度敏感滤光片允许λ1波段的光信号通过,并传播至像素P,此时,像素P记录的强度信息为λ1波段的光信号的强度信息(如图17a中的(c));当入射角度为αp时,角度敏感滤光片允许λp波段的光信号通过,并传播至像素P,此时,像素P记录的强度信息为λp波段的光信号的强度信息(如图17a中的(c))。在一个时间周期内,角度敏感滤光片可在第一驱动组件的驱动下,处于N个不同的姿态,基于相同的方式,角度敏感滤光片每处于一个姿态,像素P即可记录一个波段的光信号的强度信息,角度敏感滤光片处于N个姿态,像素P可分别记录N个不同波段的光信号的强度信息,处理控制组件将接收到的每个像素记录的不同的波段的光信号的强度信息进行光谱缝合(例如将各个波段及每个波段对应的强度按一定顺序拼接在一起),可得到如图17a中的(d)所示的光谱信息。进一步,可选地,可通过平滑算法(例如求平均),对图17a中的(d)进行平滑,得到图17a中的(e)。应理解,图17a中的(d)即为来自被摄物体的光线的实际成像光谱信息。
在图17b中,角度敏感滤光片每处于一个姿态,图像传感器可输出一帧实拍图像,角度敏感滤光片在第一驱动组件的驱动下,可处于N个不同的姿态,图像传感器可输出N帧实拍图像,处理控制组件可根据这N帧实拍图像,确定出实际成像光谱信息。
示例二,光谱仪包括多峰(M>1)角度敏感滤光片、时域波长选通组件、镜头组件、图像传感器和处理控制组件。
如图18所示,为本申请提供的又一种光谱仪的结构示意图。该光谱仪可包括M峰角度敏感滤光片、时域波长选通组件、镜头组件和图像传感器。其中,M峰角度敏感滤光片、镜头组件、时域波长选通组件、图像传感器和处理控制组件可分别参见上述相关介绍,例如,M峰角度敏感滤光片可参见上述图5b的介绍,镜头组件可参见上述图15的介绍,图像传感器可参见上述图14a或图14b的介绍,时域波长选通组件也可参见上述图11a的介绍,此处不再重复赘述。
基于上述图18所示的光谱仪,如图19a所示,为本申请提供的另一种光谱仪的工作过程示意图。对于图像传感器上任意像素P,当角度敏感滤光片处于某一姿态时,根据上述图7中确定入射角度的方式,可确定出来自被摄物体的光线与角度敏感滤光片的法线之间的夹角(即入射角度)α,不同的入射角度α下,角度敏感滤光片允许通过的光信号的波段不同。
该示例二中,以M=3为例,时域波长选通组件以上述图11a所示的时域波长选通组件为例。
结合上述图5b,当入射角度为α1时,角度敏感滤光片允许第一光信号通过,其中,第一光信号包括混叠的λ11波段的光信号、λ12波段的光信号、λ13波段的光信号,并将第一光信号传播至时域波长选通组件。当入射角度为αp时,角度敏感滤光片允许第一光信号通过,其中,第一光信号包括混叠的λp1波段的光信号、λp2波段的光信号、λp3波段的光信号,并将第一光信号传播至时域波长选通组件。
当角度敏感滤光片处于姿态1时,在δt1时段,F1位置的滤光片覆盖于图像传感器上,F1位置的滤光片可允许第一光信号中λ11波段的光信号通过,并传播至像素P,此时,像素P记录了强度信息为λ11波段的光信号的强度信息;在δt2时段,F2位置的滤光片覆盖于图像传感器上,F2位置的滤光片可允许第一光信号中λ12波段的光信号通过,并传播至像素P,此时,像素P记录了强度信息为λ12波段的光信号的强度信息;在δt3时段,F3位置的滤光片覆盖于图像传感器上,F3位置的滤光片可允许第一光信号中λ13波段的光信号通过,并传播至像素P,此时,像素P记录了强度信息为λ13波段的光信号的强度信息,可参阅图19a中的(d)。在一个时间周期内,角度敏感滤光片每处于一个姿态,像素P可在不同的时段,分别记录上述3个波段的光信号的强度信息;角度敏感滤光片处于N个姿态下,像素P可记录N×3个波段的光信号的强度信息,处理控制组件将接收到的每个像素记录的不同的波段的光信号的强度信息经过光谱缝合和平滑算法,可得到图19a中的(e)所示的光谱信息。
需要说明的是,上述图19a是以角度敏感滤光片保持一个姿态,在不同的时段,切换时域波长选通组件的三个滤光片为例示例的。当然也,也可以是三个时域波长选通组件的一个滤光片保持当前位置,角度敏感滤光片完成N个姿态的切换;或者也可以是时域波长选通组件的切换与角度敏感滤光片姿态的切换交替进行。也就是说,本申请中,角度敏感滤光片以及时域波长选通组件的三滤光片可分别按照各自的规则切换,相互之间配合的方式可以是任意的,本申请对此不做限定。另外,上述N×3个波段的强度信息是在角度敏感滤光片的姿态的切换与时域波长选通组件的三个滤光片的切换的全部组合方式下得到的。
在图19b中,角度敏感滤光片每处于一个姿态,图像传感器可输出三帧实拍图像,例如角度敏感滤光片处于姿态1,图像传感器可输出实拍图像L1、实拍图像M1和实拍图像S1;角度敏感滤光片在第一驱动组件的驱动下,可处于N个不同的姿态,图像传感器可输出3×N帧实拍图像,处理控制组件可根据这3×N帧实拍图像,确定出实际成像光谱信息。
示例性地,光谱仪可包括角度敏感滤光片,第一驱动组件、时域波长选通组件、镜头组件、图像传感器和处理控制组件。其中,角度敏感滤光片的光谱响应峰为三峰,该角度敏感滤光片可参见前述图6中角度敏感滤光片对应的光学参数;基于该角度敏感滤光片对应的光学参数,可确定出角度敏感滤光片的可处于的姿态的数量N≥(595-425)/(16+16)*2=10.6≈11。
时域波长选通组件可参见上述图11a,长通滤光片、中通滤光片和短通滤光片可嵌入圆形轮盘的三个位置,长通滤光片、中通滤光片和短通滤光片分别允许通过的波段可参见上图11b的介绍。
图像传感器的像素阵列可为1280*960,每个像素P的尺寸t可为0.00375mm。在一个时段,第二驱动组件可驱动长通滤光片、中通滤光片和短通滤光片中的一个滤光片覆盖在图像传感器上。
按照上述图7确定入射角度的方式,可设镜头组件中心点到角度敏感滤光片的垂直距离为10mm,镜头组件中心点位置坐标A(xa,ya,za)=(0,0,0),角度敏感滤光片中心点位置坐标B(xb,yb,zb)=(0,10,0),镜头组件的光轴向量V0(xv0,yv0,zv0)=(0,1,0),滤光片绕Z轴的旋转角度θ,-50°<θ<50°,基于这些参数,可确定像素P对应的平行光线射入角度敏感滤光片的入射角α。
镜头组件可参见上述图15所示的镜头组件,此处不再重复赘述。
结合上述图19b,处理控制组件检测到光谱功能启动时,启动第二驱动组件,并控制第一驱动组件驱动角度敏感滤光片绕Z轴匀速旋转,旋转角度θ取{-50°,-40°,-30°,-20°,-10°,0°,10°,20°,30°,40°,50°},旋转角度θ每取一个值,角度敏感滤光片处于一个姿态,在角度敏感滤光片的每个姿态下,图像传感器输出3帧图像,角度敏感滤光片可处于11个姿态,相应地,图像传感器可向处理控制组件输出3×11帧图像。处理控制组件可获得每一帧图像的每一个像素的强度值,再根据时域的波长选通组件的状态,确切定位每个像素所对应的单个波段,把这个强度值赋给这个波段,从而可根据这33帧图像确定出实际成像光谱信息。
示例三,光谱仪包括多峰(M>1)角度敏感滤光片、空域波长选通组件、镜头组件、图像传感器和处理控制组件。
如图20所示,为本申请提供的又一种光谱仪的结构示意图。该光谱仪可包括M峰角度敏感滤光片、空域波长选通组件、镜头组件和图像传感器。其中,M峰角度敏感滤光片、镜头组件、时域波长选通组件、图像传感器和处理控制组件可分别参见上述相关介绍。例如,M峰角度敏感滤光片可参见上述图5b的介绍,镜头组件可参见上述图15的介绍,图像传感器可参见上述图14a或图14b的介绍,空域波长选通组件也可参见上述图12a至图12e任一项的介绍,此处不再重复赘述。
基于上述图20所示的光谱仪,如图21a所示,为本申请提供的一种光谱仪的工作过程示意图。对于图像传感器上任意像素P,当角度敏感滤光片处于某一姿态时,根据上述图7中确定入射角度的方式,可确定出来自被摄物体的光线与角度敏感滤光片的法线之间的夹角(即入射角度)α,不同的入射角度α下,角度敏感滤光片允许通过的第一光信号的波段不同。
在该示例三中,以M=3为例,空域波长选通组件为上述图12a所示的空域波长选通组件为例,图像传感器包括的像素阵列以上述图13为例。图像传感器上任意像素P以上述图13中的1E为例、像素P周围区域的像素包括2B2、2D1、2E1、2E2,共同构成像素集合{Pi}={1E、2B2、2D1、2E1、2E2}。
结合上述图5b,当入射角度为α1(即角度敏感滤光片处于姿态1)时,角度敏感滤光片允许第一光信号通过,其中,第一光信号包括混叠的λ11波段的光信号、λ12波段的光信号、λ13波段的光信号,并将第一光信号传播至时域波长选通组件。当入射角度为αp(即角度敏感滤光片处于姿态p)时,角度敏感滤光片允许第一光信号通过,其中,第一光信号包括混叠的λp1波段的光信号、λp2波段的光信号、λp3波段的光信号,并将第一光信号传播至空域波长选通组件。空域波长选通组件可控制{Pi}中的每个像素接收到特定波段的光线。
当角度敏感滤光片处于姿态1时,1E位置的像素(图21a称为像素P)接收#1滤光片允许通过的波段的光信号,对于1E位置的像素,对应的入射角度可为α-1E;2E1位置的像素接收#2滤光片允许通过的波段的光信号,对于2E1位置的像素,对应的入射角度可为α-2E1;2E2位置的像素接收#2滤光片允许通过的波段的光信号,对于2E2位置的像素,对应的入射角度可为α-2E2;3E位置的像素接收#3滤光片允许通过的波段的光信号,对于3E位置的像素,对应的入射角度为α-3E。以#1滤光片允许λ11波段的光信号通过、#2滤光片允许λ12波段的光信号通过,#3滤光片允许λ13波段的光信号通过为例。也就是说,第一光信号可被空域波长选通组件的每个滤光片提取出一个波段的光信号。1E位置的像素只可获取到λ11波段的光谱信息,为了获取λ12波段的光谱信息,可以通过对2B2、2D1、2E1、2E2四个像素获取到λ12波段的光谱信息求平均得到;为了获取λ13波段的光谱信息,处理控制组件可以通过对3A、3B、3D、3E四个像素获取到的λ13波段的光谱信息求平均得到,通过插值运算(解马赛克算法),1E位置的像素即可获取到离散的λ11波段的光谱信息、λ12波段的光谱信息和λ13波段的光谱信息。示例性地,#1滤光片为短通滤光片、#2滤光片为中通滤光片,#3滤光片为长通滤光片;λ13波段可为540nm~600nm,λ12波段可为480nm~540nm,λ13波段可为420nm~480nm。如此,可使得每个像素均获得来自被摄物体的全部光谱信息480nm~600nm,即该角度敏感滤光片可覆盖170nm的范围。应理解,每个像素获取来自被摄物体的全部光谱信息也可以是其它更复杂的算法,以获得较高的解析力,本申请对此不做限定。
在一个时间周期内,角度敏感滤光片每处于一个姿态,像素P可分别记录上述3个波段的光信号的强度信息;角度敏感滤光片处于N个姿态下,像素P可记录N×3个波段的光信号的强度信息,处理控制组件将接收到的每个像素记录的不同的波段的光信号的强度信息经过光谱缝合和平滑算法,可得到图21a中的(f)所示的光谱信息。
在图21b中,角度敏感滤光片每处于一个姿态,图像传感器可输出一帧实拍图像,例如角度敏感滤光片处于姿态1,图像传感器可输出实拍图像1;角度敏感滤光片在第一驱动组件的驱动下,可处于N个不同的姿态,图像传感器可输出N帧实拍图像,处理控制组件可根据这N帧实拍图像,确定出实际成像光谱信息。
示例性地,光谱仪可包括角度敏感滤光片,第一驱动组件、空域波长选通组件、镜头组件、图像传感器和处理控制组件。其中,角度敏感滤光片的光谱响应峰为三峰,该角度敏感滤光片可参见前述图6中角度敏感滤光片对应的光学参数;基于该角度敏感滤光片对应的光学参数,可确定出角度敏感滤光片的可处于的姿态的数量N≥(595-425)/(16+16)*2=10.6≈11。
空域波长选通组件可参见前述图12a所示的滤光片阵列,#1滤光片可允许通过的波段为540nm~600nm,#2滤光片允许通过的波段为480nm~540nm,#3滤光片可允许通过的波段为420nm~480nm,具体可参见图11b。
图像传感器的像素阵列可为1280*960,每个像素P的尺寸t可为0.00375mm。滤光片阵列覆盖在图像传感器上,通常,滤光片阵列与像素阵列一一对应,即像素阵列为1280*960,滤光片阵列也为1280*960,1280*960的滤光片阵列中是以上述图12a所示的滤光片阵列为最小可重复单元的。
按照上述图7确定入射角度的方式,可设镜头组件中心点到角度敏感滤光片的垂直距离为10mm,镜头组件中心点位置坐标A(xa,ya,za)=(0,0,0),角度敏感滤光片中心点位置坐标B(xb,yb,zb)=(0,10,0),镜头组件的光轴向量V0(xv0,yv0,zv0)=(0,1,0),滤光片绕Z轴的旋转角度θ,-50°<θ<50°,基于这些参数,可确定像素P对应的平行光线射入角度敏感滤光片的入射角α。
第一驱动组件可以上述图8所示的驱动组件,或者也可以是上述图9a所示的驱动组件;镜头组件可参见上述图15所示的镜头组件,此处不再重复赘述。
结合上述图21b,处理控制组件检测到光谱功能启动时,启动第一驱动组件,并控制第一驱动组件驱动角度敏感滤光片绕Z轴匀速旋转,旋转角度θ取{-50°,-40°,-30°,-20°,-10°,0°,10°,20°,30°,40°,50°},旋转角度θ每取一个值,角度敏感滤光片处于一个姿态,在角度敏感滤光片的每个姿态下,图像传感器可采集1帧图像,角度敏感滤光片可处于11个姿态,相应地,图像传感器可采集11帧图像,并向处理控制组件输出11帧图像。处理控制组件可获得每一帧图像的每一个像素的强度值,再根据空域的波长选通组件的状态,定位每个像素所对应的单个波段,把这个强度值赋给这个波段,从而可根据这11帧图像确定出实际成像光谱信息。
需要说明的是,角度敏感滤光片每处于一个姿态,滤光片阵列中的每个滤光片可将混叠的三个不同波段的光信号提取出对应的一个波段的光信号,即混叠的第一光信号可被分离为三个分离的第二光信号。图像传感器中的像素阵列中的每个像素,接收来自对应滤光片的一个第二光信号,并通过插值算法获取其它两个第二光信号,具体过程可参见上述示例三中1E位置的像素获取来自被摄物体的全部光谱信息的介绍,此处不再重复赘述。
示例四,光谱仪包括多峰(M>1)角度敏感滤光片、镜头组件、图像传感器和处理控制组件。
如图22所示,为本申请提供的又一种光谱仪的结构示意图。该光谱仪可包括角度敏感滤光片、镜头组件和图像传感器。其中,角度敏感滤光片为多峰响应的滤光片,可参见上述图5b的介绍;镜头组件可参见上述相关介绍(例如图15),图像传感器和处理控制组件可分别参见上述相关介绍,此处均不再重复赘述。
基于上述图22所示的光谱仪,如图23a所示,为本申请提供的一种光谱仪的工作过程示意图。
结合上述图5b,当入射角度为α1时,角度敏感滤光片允许第一光信号通过,并传播至图像传感器的每个像素,每个像素均记录了第一光信号的强度信息,其中,第一光信号包括λ11波段、λ12波段和λ13波段混叠的光信号。也就是说,每个像素都记录了三个波段混叠的第一光信号的强度信息。即在角度敏感滤光片每处于一个姿态下,图像传感器生成一幅图像,角度敏感率光片处于N个姿态,图像传感器采集N幅图像。将N幅图像传输至处理控制组件中的光谱分离引擎,可得到这三个波段的每个波段的实际强度信息,即全光谱信息。
示例性地,当角度敏感滤光片处于一个姿态时,光谱分离引擎的输入数据为图像传感器采集的一帧图像,该图像中携带混叠的M个不同波段的光信号的强度信息;光谱分离引擎的输出数据为M帧图像,每帧图像包括了一个波段的第二光信号的强度信息。可参阅图23b,第一光信号包括λ11波段、λ12波段和λ13波段混叠的光信号,光谱分离引擎输入数据为第一光信号对应的图像,光谱分离引擎输出数据为:λ11波段对应的图像、λ12波段对应的图像和λ13波段对应的图像。角度敏感滤光片可处于N个不同的姿态,图像传感器可采集N帧图像,并分别输入光谱分离引擎,从而可使得光谱分离引擎输出全成像光谱信息。
需要说明的是,每个波段的第二光信号对应的图像关联一组网络参数。例如,λ11波段对应的图像关联参数组1,λ12波段对应的图像关联参数组2,λ13波段对应的图像关联参数组3。
在一种可能的实现方式中,需要构建并训练光谱分离引擎(或称为光谱解交织引擎或称为光谱分离网络模型等),该光谱分离引擎利用数学优化算法、神经网络、或者其他方式处理图像。
下面以光谱分离引擎为网络模型为例,介绍如何基于训练数据得到目标网络模型,目标网络模型即为训练得到的最终网络模型,也即本申请中的训练好的光谱分离引擎,该目标网络模型能够用于基于输入的图像,输出全光谱信息;即将图像传感器采集到的一幅图像输入目标网络模型,即可得到M幅图像,其中,输出的每幅图像信息携带有一个波段的第二光信号的强度信息。
示例性地,该目标网络可以是通过训练U-Net网络得到的,损失函数可使用欧氏距离惩罚项。其中,训练数据可以是构造的数据,或者也可以是从云端或其它地方获取到的。如下以构造训练数据为例进行示例,具体可以是:使用互联网上的高光谱数据或自行使用成像光谱仪采集实际场景,获取大量高光谱图像。根据实际的角度敏感滤光片光谱特性,以及上述图像传感器中的像素位置与角度敏感滤光片姿态以及与光谱响应之间的关系,可以构建出角度敏感滤光片在不同姿态下,高光谱图像经过角度敏感滤光片调制后被图像传感器采集到的数据。度敏感滤光片的每处于一个姿态,可建立M个独立第二光信号对应图像分别与一个第一光信号对应的图像之间关联,并得到了对应的网络参数;即一个波段的第二光信号对应的图像与一个第一光信号对应的图像可到一组网络参数,M个独立第二光信号的图像对应可得到M组网络参数。
需要说明的是,上述网络的训练可以是在训练设备中进行,训练设备将训练好的目标网络模型发送至光谱仪。
基于上述过程,可得到目标网络模型,光谱仪可将该目标网络模型存储于处理控制组件。
基于上述描述的光谱仪的结构和功能原理,本申请还可以提供一种摄像模组,该摄像模组可以包括上述光谱仪,当然还可以包括其他器件,例如处理器、存储器等。也就是说,具有获取成像光谱信息的摄像模组中均可以采用本申请实施例提供的光谱仪。
在一种可能的实现方式中,摄像模组可以是手机上的摄像头、数码相机、摄像机、监控设备(如监控摄像头)、望远镜或潜望镜等。
通过在摄像模组中的镜头组件的物方设置角度敏感滤光片和第一驱动组件,该摄像模组即可实现光谱检测和成像的双重功能。
如图24a所示,为本申请提供的另一种终端设备的结构示意图。该终端设备可包括第一摄像模组和第二摄像模组。第一摄像模组包括光谱仪,光谱仪包括角度敏感滤光片、第一镜头组件、第一图像传感器、第一驱动组件和第一处理控制组件;第一驱动组件用于驱动角度敏感滤光片处于N个不同的姿态,N为大于1的整数;角度敏感滤光片用于在N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,第一光信号包括混叠的M个不同波段的第二光信号,M为大于1的整数;第一镜头组件用于将接收到的第一光信号汇聚至图像器传感器;第一图像传感器用于记录接收到的所述N个第一光信号的强度信息;所述第一处理控制组件用于根据所述N个第一光信号的强度信息,确定第一成像光谱信息。所述第二摄像模组用于在与所述第一图像传感器时钟同步后,从来自所述被摄物体的光线中获取第二成像光谱信息,所述第二成像光谱信息包括离散的N×M个第二光信号;所述第一摄像模组或所述第二摄像模组,用于根据所述第一成像光谱信息和所述第二成像光谱信息,确定成像光谱信息。也就是说,第一摄像模组和第二摄像模组可分别在各自的图像传感器上分别获取成像光谱信息。示例性地,可以在第一摄像模组或第二摄像模组中进行图像配准,具体可将第一图像配准在第二图像上,也可以将第二图像配准在第一图像上。之后基于光谱复原算法,可以确定出成像光谱信息。
此处,角度敏感滤光片可参见前述角度敏感滤光片的描述,此处不再重复赘述;第一镜头组件可参见前述镜头组件的描述,此处不再重复赘述;第一图像传感器可参见前述图像传感器的描述,此处不再重复赘述;第一驱动组件可参见前述驱动组件的描述,此处不再重复赘述;第一处理控制组件可参见前述处理控制组件的描述,此处不再重复赘述。
在一种可能的实现方式中,所述第二摄像模组包括第二镜头组件、第二图像传感器、H个第二滤光片和第二处理控制组件,所述第二图像传感器包括H个像素,所述H个第二滤光片与所述H个像素一一对应;所述第二镜头组件用于将来自所述被摄物体的光线汇聚至所述H个第二滤光片中的每个滤光片;所述H个第二滤光片中的每个滤光片,用于将汇聚后的光线中的对应波段的光信号通过,得到第二光信号;所述H个像素中的每个像素用于在与所述第一图像传感器时钟同步后,记录接收到的第二光信号的强度信息,得到M个所述第二光信号的强度信息;所述第二处理控制组件用于接收来自所述第二图像传感器的N×M个第二光信号的强度信息,并根据所述N×M个第二光信号的强度信息,确定所述第二成像光谱信息。
需要说明的是,角度敏感滤光片可处于N个姿态,第一摄像模组可获得N个第一图像,每个第一图像对应混叠的M个不同的波段。空间场景也可在第二摄像模组中的第二图像传感器上形成第二图像。第一图像传感器与第二图像传感器需要进行时钟同步,即第二图像传感器可在第一图像传感器采集图像的时段采集图像。
在一种可能的实现方式中,第二摄像模组可以是终端设备的主摄像头(或称为主摄)。进一步,可选地,第一摄像模组可为终端设备的副摄。
可以理解的是,该终端设备还可以包括其他器件,例如无线通信装置、传感器和触摸屏、显示屏等。
在图24b中,在第一摄像模组中,角度敏感滤光片每处于一个姿态,图像传感器可输出一帧实拍图像,角度敏感滤光片在第一驱动组件的驱动下,可处于N个不同的姿态,图像传感器可输出N帧实拍图像,第一处理控制组件可根据这N帧实拍图像,确定出第一成像光谱信息。在第二摄像模组中,图像传感器输出的图像,经过解马赛克处理后,角度敏感滤光片的每个姿态下,可得到3×N帧实拍图像,第二处理控制组件可根据这3×N帧实拍图像,确定出第二成像光谱信息。
基于上述描述的光谱仪的结构和功能原理,本申请还可以提供另一种终端设备,该终端设备可以包括上述光谱仪,当然还可以包括其他器件,例如处理器、存储器、无线通信装置、传感器和触摸屏、显示屏等。也就是说,具有摄像或拍照功能的终端设备中均可以采用本申请实施例提供的光谱仪。
如图25所示,为本申请提供的一种终端设备的结构示意图。该终端设备可包括处理器2501、存储器2502、摄像头2503和显示屏2504等。应理解,图25所示的硬件结构仅是一个示例。本申请所适用的终端设备可以具有比图25中所示终端设备更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图25中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
其中,处理器2501可以包括一个或多个处理单元。例如:处理器2501可以包括应用处理器2501(application processor,AP)、图形处理器2501(graphics processing unit,GPU)、图像信号处理器2501(image signal processor,ISP)、控制器、数字信号处理器2501(digital signal processor,DSP)、等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器2501中。
摄像头2503可以用于捕获动、静态图像等。在一些实施例中,终端设备可以包括一个或N个摄像头2503,其中,P为大于1的整数。例如,终端设备可包括前置摄像头和后置摄像头。在一种可能的实现方式中,终端设备可包括2个后置摄像头,例如,主摄像头和第一摄像头;或者,终端设备可包括3个后置摄像头,例如,主摄像头、广角摄像头和第一摄像头;或者,终端设备可包括4个后置摄像头,例如,主摄像头、广角摄像头、第一摄像头和第二摄像头;或者,终端设备可包括5个后置摄像头,例如,主摄像头、广角摄像头、第一摄像头、第二摄像头和深度摄像头(如包括飞行时间(time of flight,TOF)摄像模组),等。其中,所述第一摄像头可称为高倍长焦镜头,第二摄像头可称为低倍长焦镜头。主摄像头的目标倍率为1,关于第一摄像头、第二摄像头和广角摄像头的目标倍率可分别参见前述描述,此处不再一一赘述。应理解,后置摄像头的数量也可以大于5个,本申请对此不做限定,另外,本申请对前置摄像头的数量和类型不做限定。
显示屏2504可以用于显示图像、视频等。显示屏2504可以包括显示面板。显示面板可以采用液晶显示屏2504(liquid crystal display,LCD)、有机发光二极管(organiclight-emitting diode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED)、柔性发光二极管(flexlight-emitting diode,FLED)、Miniled、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,终端设备可以包括1个或Q个显示屏2504,Q为大于1的正整数。示例的,终端设备可以通过GPU、显示屏2504、以及应用处理器2501等实现显示功能。
光谱仪2505可参见上述光谱仪的相关描述,此处不再重复赘述。
在一种可能的实现方式中,终端设备可以是个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如手机、移动电话、平板电脑、可穿戴设备(如智能手表)、个人数字助理、媒体播放器等等)、消费型终端设备、小型计算机、大型计算机、胶片相机、数码相机、摄像机、监控设备、望远镜、潜望镜或光谱仪器等。
在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中,“均匀”不是指绝对的均匀,“垂直”不是指绝对的垂直,均可以允许有一定工程上的误差。“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。在本申请的文字描述中,字符“/”,一般表示前后关联对象是一种“或”的关系。在本申请的公式中,字符“/”,表示前后关联对象是一种“相除”的关系。另外,在本申请中,“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为,使用示例的一词旨在以具体方式呈现概念,并不对本申请构成限定。
可以理解的是,在本申请中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述,是用于分区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的方案进行示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (16)
1.一种光谱仪,其特征在于,包括:角度敏感滤光片、波长选通组件、镜头组件、图像传感器、第一驱动组件和处理控制组件;
所述第一驱动组件,用于驱动所述角度敏感滤光片处于N个不同的姿态,所述N为大于1的整数;
所述角度敏感滤光片,用于在所述N个不同的姿态中的每个姿态下,允许来自被摄物体的光线中的第一光信号通过,所述第一光信号包括混叠的M个不同波段的光信号,所述M为大于1的整数;
所述波长选通组件,用于将接收到的所述第一光信号分离为离散的M个第二光信号,所述M个第二光信号的波段互不相同;
所述镜头组件,用于将接收到的所述第一光信号汇聚至所述波长选通组件,或者,将接收到的所述M个第二光信号汇聚至所述图像传感器;
所述图像传感器,用于记录接收到的所述M个第二光信号的强度信息;
所述处理控制组件,用于根据所述M个第二光信号的强度信息,确定成像光谱信息。
2.如权利要求1所述的光谱仪,其特征在于,所述波长选通组件为时域波长选通组件;
所述时域波长选通组件,用于在M个时段中的每个时段,允许所述第一光信号中的一个波段的光信号通过,得到所述M个第二光信号,所述M个时段与所述M个第二光信号一一对应。
3.如权利要求2所述的光谱仪,其特征在于,所述时域波长选通组件包括M个第一滤光片、第一固定组件和第二驱动组件,所述M个第一滤光片分布于所述第一固定组件,所述M个第一滤光片中所允许通过的光信号的波段互不相同,所述M个第一滤光片与所述M个第二光信号一一对应;
所述第二驱动组件,用于在所述M个时段中的每个时段,驱动所述第一固定组件切换位置,以带动所述M个第一滤光片中的一个第一滤光片与所述图像传感器对应。
4.如权利要求1~3中任一项所述的光谱仪,其特征在于,所述图像传感器,具体用于:
在所述M个时段中的每个时段,分别记录接收到第二光信号的强度信息,得到M×M个第二光信号的强度信息;
所述处理控制组件,具体用于:
根据所述M×M个第二光信号的强度信息,确定所述成像光谱信息。
5.如权利要求1所述的光谱仪,其特征在于,所述波长选通组件为空域波长选通组件,所述图像传感器包括H个像素,所述H为大于或等于M的整数;
所述空域波长选通组件,用于将接收到的所述第一光信号分离为离散的所述M个第二光信号,并将所述M个第二光信号分别传播至对应的像素。
6.如权利要求5所述的光谱仪,其特征在于,所述空域波长选通组件包括H个第二滤光片,所述H个第二滤光片与所述H个像素一一对应;
所述H个第二滤光片中的每个第二滤光片,用于允许所述第一光信号中的一个波段的光信号通过,得到一个第二光信号,并将所述第二光信号传播至所述第二滤光片对应的像素。
7.如权利要求5或6所述的光谱仪,其特征在于,所述H个像素中的每个像素,用于接收来自对应的第二滤光片所允许通过的第二光信号的强度信息;
所述处理控制组件,用于接收来自所述H个像素中每个像素的第二光信号的强度信息,并根据光谱复原算法,确定每个像素对应的M个第二光信号的强度信息,并根据所述M个第二光信号的强度信息,确定所述成像光谱信息。
8.如权利要求1~7任一项所述的光谱仪,其特征在于,所述波长选通组件位于所述角度敏感滤光片与所述镜头组件之间;或者,所述波长选通组件位于所述镜头组件与所述图像传感器之间。
10.如权利要求1~9任一项所述的光谱仪,其特征在于,所述第一驱动组件包括转轮与连接杆,所述连接杆的一端与所述角度敏感滤光片固定,所述连接杆的另一端与所述转轮固定;
所述连接杆,用于在所述转轮转动时,带动所述角度敏感滤光片绕第一转轴转动,使所述角度敏感滤光片处于所述N个不同的姿态。
11.如权利要求1~9任一项所述的光谱仪,其特征在于,所述第一驱动组件包括电磁元件和磁性元件,所述电磁元件与所述镜头组件固定,所述磁性元件与所述角度敏感滤光片固定,且所述电磁元件与所述磁性元件相对设置;
所述电磁元件,用于在通入N个不同电流时,吸附或排斥所述磁性元件绕第二转轴转动,使所述磁性元件带动所述角度敏感滤光片处于所述N个不同的姿态,所述N个不同电流与所述N个不同姿态一一对应。
12.如权利要求11所述的光谱仪,其特征在于,所述电磁元件与所述镜头组件通过第三固定组件固定,所述电磁元件位于所述第三固定组件靠近所述角度敏感滤光片的面上,所述镜头组件嵌入所述第三固定组件中;
所述磁性元件与所述角度敏感滤光片通过第四固定组件固定,所述磁性元件位于所述第四固定组件靠近所述镜头组件的面上,所述角度敏感滤光片嵌入所述第四固定组件中。
13.如权利要求1~12任一项所述的光谱仪,其特征在于,所述处理控制组件,还用于:控制所述第一驱动组件以驱动所述角度敏感滤光片处于所述N个不同的姿态。
14.如权利要求1~13任一项所述的光谱仪,其特征在于,所述图像传感器包括动态与主动式像素视觉传感器DAVIS。
15.一种摄像模组,其特征在于,包括如权利要求1~14任一项所述的光谱仪、以及处理器,所述处理器用于对所述光谱仪的成像光谱信息进行处理。
16.一种终端设备,其特征在于,包括如权利要求1~14任一项所述的光谱仪、以及处理器,所述处理器用于对所述光谱仪的成像光谱信息进行处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010468935 | 2020-05-28 | ||
CN2020104689358 | 2020-05-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113739915A true CN113739915A (zh) | 2021-12-03 |
Family
ID=78728000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010890876.3A Pending CN113739915A (zh) | 2020-05-28 | 2020-08-29 | 一种光谱仪、摄像模组及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113739915A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03197845A (ja) * | 1989-12-26 | 1991-08-29 | Hitachi Ltd | 面分光分折装置 |
US5361155A (en) * | 1992-03-26 | 1994-11-01 | Alcatel Cit | Optical filter tuned by rotation and comprising a Fabry-Perot interferometer |
CN101124462A (zh) * | 2004-10-25 | 2008-02-13 | Rp风险技术有限公司 | 多光谱和超光谱成像系统 |
CN102589694A (zh) * | 2012-02-02 | 2012-07-18 | 麦克奥迪实业集团有限公司 | 一种多光谱显微图像的获取装置 |
US20120200682A1 (en) * | 2011-02-08 | 2012-08-09 | Xerox Corporation | Method for classifying a pixel of a hyperspectral image in a remote sensing application |
CN104390703A (zh) * | 2012-10-11 | 2015-03-04 | Vtt科技研究中心 | 用于确定光谱仪的校准参数的方法 |
-
2020
- 2020-08-29 CN CN202010890876.3A patent/CN113739915A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03197845A (ja) * | 1989-12-26 | 1991-08-29 | Hitachi Ltd | 面分光分折装置 |
US5361155A (en) * | 1992-03-26 | 1994-11-01 | Alcatel Cit | Optical filter tuned by rotation and comprising a Fabry-Perot interferometer |
CN101124462A (zh) * | 2004-10-25 | 2008-02-13 | Rp风险技术有限公司 | 多光谱和超光谱成像系统 |
US20120200682A1 (en) * | 2011-02-08 | 2012-08-09 | Xerox Corporation | Method for classifying a pixel of a hyperspectral image in a remote sensing application |
CN102589694A (zh) * | 2012-02-02 | 2012-07-18 | 麦克奥迪实业集团有限公司 | 一种多光谱显微图像的获取装置 |
CN104390703A (zh) * | 2012-10-11 | 2015-03-04 | Vtt科技研究中心 | 用于确定光谱仪的校准参数的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9420241B2 (en) | Multi-spectral imaging | |
CN105210361B (zh) | 全光成像设备 | |
US8908054B1 (en) | Optics apparatus for hands-free focus | |
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
CN103501416B (zh) | 成像系统 | |
US9398272B2 (en) | Low-profile lens array camera | |
CN105830090A (zh) | 使用阵列传感器以传感器的全分辨率测量多种类型数据的方法 | |
CN112839215B (zh) | 摄像模组、摄像头、终端设备、图像信息确定方法及存储介质 | |
JP2009021919A (ja) | 撮像装置 | |
CN107003116A (zh) | 图像捕捉装置组件、三维形状测量装置和运动检测装置 | |
JP2020060763A (ja) | イメージセンサ及びイメージ検出方法 | |
US9380273B1 (en) | Multiple aperture video image enhancement system | |
CN216748162U (zh) | 一种多光谱大视场曲面复眼透镜系统 | |
US20070097252A1 (en) | Imaging methods, cameras, projectors, and articles of manufacture | |
Horstmeyer et al. | Modified light field architecture for reconfigurable multimode imaging | |
KR102644944B1 (ko) | 이미지 센서 및 이미지 센싱 방법 | |
US9110293B2 (en) | Prismatic image replication for obtaining color data from a monochrome detector array | |
US9794468B2 (en) | Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions | |
CN113739915A (zh) | 一种光谱仪、摄像模组及终端设备 | |
US9124828B1 (en) | Apparatus and methods using a fly's eye lens system for the production of high dynamic range images | |
KR102184210B1 (ko) | 3차원 카메라 시스템 | |
WO2017120640A1 (en) | Image sensor | |
Wang | High resolution 2D imaging and 3D scanning with line sensors | |
EP3387675B1 (en) | Image sensor configured for dual mode operation | |
US11726306B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211203 |