CN118401811A - 光谱装置和带有光谱装置的终端设备以及工作方法 - Google Patents
光谱装置和带有光谱装置的终端设备以及工作方法 Download PDFInfo
- Publication number
- CN118401811A CN118401811A CN202280083071.5A CN202280083071A CN118401811A CN 118401811 A CN118401811 A CN 118401811A CN 202280083071 A CN202280083071 A CN 202280083071A CN 118401811 A CN118401811 A CN 118401811A
- Authority
- CN
- China
- Prior art keywords
- lens
- optical system
- spectrum
- lens group
- spectroscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 306
- 238000000411 transmission spectrum Methods 0.000 claims abstract description 119
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000003595 spectral effect Effects 0.000 claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims description 309
- 230000007246 mechanism Effects 0.000 claims description 132
- 238000007514 turning Methods 0.000 claims description 50
- 238000001914 filtration Methods 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 32
- 239000007788 liquid Substances 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000002096 quantum dot Substances 0.000 claims description 5
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 claims description 3
- 239000002061 nanopillar Substances 0.000 claims description 3
- 239000004038 photonic crystal Substances 0.000 claims description 3
- 239000012491 analyte Substances 0.000 claims 1
- 239000010410 layer Substances 0.000 description 118
- 238000001514 detection method Methods 0.000 description 20
- 239000000463 material Substances 0.000 description 20
- 238000011084 recovery Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005530 etching Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000007769 metal material Substances 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 235000012239 silicon dioxide Nutrition 0.000 description 3
- 239000000377 silicon dioxide Substances 0.000 description 3
- 229910052581 Si3N4 Inorganic materials 0.000 description 2
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 229920006037 cross link polymer Polymers 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000002070 nanowire Substances 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 229920002120 photoresistant polymer Polymers 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 1
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 150000002291 germanium compounds Chemical class 0.000 description 1
- 230000009349 indirect transmission Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004298 light response Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012778 molding material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 229910052755 nonmetal Inorganic materials 0.000 description 1
- BPUBBGLMJRNUCC-UHFFFAOYSA-N oxygen(2-);tantalum(5+) Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ta+5].[Ta+5] BPUBBGLMJRNUCC-UHFFFAOYSA-N 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 1
- 229910010271 silicon carbide Inorganic materials 0.000 description 1
- 150000003377 silicon compounds Chemical class 0.000 description 1
- 238000012306 spectroscopic technique Methods 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 229910001936 tantalum oxide Inorganic materials 0.000 description 1
- 239000004408 titanium dioxide Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
一种光谱装置和带有光谱装置的终端设备以及工作方法,其中光谱装置包括一光谱芯片(10),一光学系统(20)以及至少一数据处理单元(30),其中光学系统(20)位于光谱芯片(10)的光学路径,其中光谱芯片(10)与至少一数据处理单元(30)电气地连接,且光谱芯片(10)设有多个透射谱矩阵,其中光学系统(20)具有可变焦距,以供通过调整光学系统(20)的焦距,由光学系统(20)调制入射光谱芯片(10)的入射光,并由数据处理单元(30)基于光谱芯片(10)对应的特定透射谱矩阵计算出入射光对应的光谱信息。
Description
相关申请的交叉引用
本申请要求于2021年12月23日向中国国家知识产权局提交的第202111594815.3号中国专利申请的优先权和权益,该申请的全部内容通过引用并入本文。
本发明涉及光谱装置,尤其涉及一光谱装置和带有光谱装置的终端设备以及工作方法。
随着光谱技术发展,光谱分析被广泛应用于生活、工业中;例如用以医疗、美容等领域的非创伤性检查、水果、蔬菜等食品检测、水质质量等监控。其工作原理为光与物质发生相互作用,如吸收、散射、荧光、拉曼等,会产生特定光谱,而每种物质的光谱,都是独一无二的。光谱装置能够直接检测物质的光谱信息,得到被测目标的存在状况与物质成分,是材料表征、化学分析等领域重要的测试仪器之一。因此,光谱信息可以说是万物的“指纹”。
但是,特定光谱往往需要与其相匹配的光谱装置进行检测、识别,才能更高效、更精确;这也就导致不同的场景、不同的待测物等的检测需要不同性能的光谱装置。现有技术的光谱装置需要与待测物保持特定的距离,以获取良好的光谱检测效果,但是在实际使用过程中,现有技术的光谱装置难以适应不同种类的待测物体,导致检测和识别效果不够。
基于此,急需开发一种可以同时应用于不同场景、物品检测的光谱装置。
发明内容
本发明的一个主要优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光谱装置根据待测物的特性提供适配的透射谱矩阵,提高了所述光谱装置的适用性和/或精度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光谱装置根据待测物体的特性进行调整,使得含有待测物体信息的入射光 到达所述光谱芯片的结构像素的主光角和/或收光光锥角发生变化,所述光谱芯片的透射谱矩阵发生变化,更加适配于待测物体的特性,从而提高识别、检测精度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光谱装置包括一光谱芯片和被设置于所述光谱芯片的光学路径的一光学系统,其中所述光学系统可调焦,通过调整所述光学系统的焦距变化,进一步引起所述入射光到达所述滤光结构表面的主光角和/或收光光锥角发生变化,使得所述滤光结构对应的透射谱矩阵发生变动,从而根据对待测物体特性选择对应的焦距获得适配的透射谱矩阵进行识别、检测,以提高识别、检测精度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光学系统被实施为变焦透镜组,通过移动所述变焦透镜组的镜片实现所述光学系统的变焦,从而根据对待测物体特性选择对应的焦距进行识别、检测,以提高识别、检测精度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光学系统包括一液体镜头,通过所述液体镜头调整所述光学系统的焦距,并能进一步地减小所述光谱装置的高度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中所述光学系统被实施为一潜望式镜头,能够有效地降低所述光谱装置的光轴方向的高度。
本发明的另一个优势在于提供一光谱装置和带有光谱装置的终端设备以及工作方法,其中通过所述光学系统的焦距的变化,使得所述入射光到达所述滤光结构表面的主光角和/或光锥角发生变化。由于入射光的主光角和/或光锥角变化,使得所述光谱芯片的结构单元对应的透射谱曲线发生变化。因此,本发明的所述光谱装置可根据对待测物体特性选择对应的焦距(或对应的透射谱曲线)进行识别、检测,以提高识别、检测精度。
依本发明的一个方面,能够实现前述目的和其他目的和优势的本发明的一光谱装置,包括:
一光谱芯片,其中所述光谱芯片设有多个透射谱矩阵;和
一光学系统,其中所述光学系统位于所述光谱芯片的光学路径;
其中所述光学系统具有可变焦距,并且所述光学系统的所述可变焦距与所述光谱芯片的所述多个透射谱矩阵相对应,通过调整所述光学系统的焦距,为所述光谱芯片配置 特定的透射谱矩阵,再由所述数据处理单元基于所述光谱芯片对应的特定透射谱矩阵计算所述入射光对应的光谱信息。
根据本发明的一个实施例,所述光学系统包括至少一透镜组件和至少一移动机构,其中所述至少一透镜组件与所述至少一移动机构相传动地连接,由所述至少一移动机构驱动所述至少一透镜组件移动,以调整所述光学系统的焦距。
根据本发明的一个实施例,所述光学系统进一步包括至少一转折件,其中所述转折件被设置于所述至少一透镜组件的光轴方向,由所述转折件偏转入射或出射所述至少一透镜组件的光的传输方向。
根据本发明的一个实施例,所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,所述第二透镜组位于所述第一透镜组和所述第三透镜组之间,其中所述第二透镜组与所述移动机构相连,由所述移动机构驱动所述第二透镜组移动。
根据本发明的一个实施例,所述第二透镜组进一步包括至少一变焦镜片和至少一补偿镜片,所述至少一变焦镜片和所述至少一补偿镜片被可传动地连接于所述移动机构,通过所述变焦镜片和所述补偿镜片的移动实现变焦。
根据本发明的一个实施例,所述转折件进一步包括一第一转折件和一第二转折件,所述第一转折件位于所述第一透镜组的前端,所述第二转折件位于所述第二透镜组和所述第三透镜组之间。
根据本发明的一个实施例,所述光学系统包括至少一液体镜头组件和至少一透镜组件,所述液体镜头组件和所述透镜组件沿同一光轴方向前后设置,所述液体镜头组件可以改变其自身的曲率。
根据本发明的一个实施例,所述液体镜头组件可以包括至少一可变形透镜体、一可弯曲透明盖部件以及一致动器,其中所述可弯曲透明盖部件附着于所述至少一可变形透镜体的表面,所述致动器位于所述可弯曲透明盖部件的上表面,通过所述致动器驱动所述可弯曲透明盖部件移动,以改变所述可变形透镜体的形状。
根据本发明的一个实施例,进一步包括一对焦机构,其中所述对焦机构与所述至少一透镜组件相连,通过所述对焦机构驱动所述至少一透镜组件实现对焦。
根据本发明的一个实施例,进一步包括至少一防抖机构,其中所述防抖机构与所述光学系统的所述至少一透镜组件相连,通过所述防抖机构驱动所述光学系统的移动补偿所述光谱装置在使用过程中产生的抖动。
根据本发明的一个实施例,所述防抖机构进一步包括一第一防抖机构组件和一第二防抖机构组件,其中所述第一防抖机构组件与所述转折件相连接,通过所述第一防抖机构组件实现所述转折件转动实现对滚动、俯仰和偏摆的补偿,其中所述第二防抖机构组件与所述光学系统的所述透镜组件相连接,通过所述第二防抖机构组件驱动所述透镜组件水平移动。
根据本发明的一个实施例,进一步包括至少一数据处理单元,其中所述光谱芯片与所述至少一数据处理单元相电连接,由所述数据处理单元基于所述光谱芯片对应的特定透射谱矩阵和入射光获得所述入射光对应的光谱信息。
根据本发明的一个实施例,进一步包括一线路板和至少一散热件,所述光谱芯片被电连接于所述线路板,所述散热件可被贴附于线路板或贴附于光谱芯片。
根据本发明的一个实施例,进一步包括一支架,所述支架被设置于所述线路板,所述光学系统被设置于所述支架,所述支架具有一通光孔,所述通光孔与所述光谱芯片的感光区相对应。
根据本发明的一个实施例,所述光谱芯片记录各所述透射谱矩阵对应的主光角和/或各所述透射谱矩阵对应的所述光学系统变焦位置。
根据本发明的一个实施例,所述第一透镜组包括一第一透镜和一第二透镜,所述第二透镜组包括所述第三透镜和所述第四透镜,所述第三透镜组包括所述第五透镜和所述第六透镜,沿所述光学系统的光轴由物侧到像侧,所述第一透镜、所述第二透镜、所述第三透镜、所述第四透镜、所述第五透镜和所述第六透镜依次排列,并且所述光学系统满足以下关系式:-3<f2/f1<0;0<f3/f1<4;0<f4/f1<4;-7<f5/f1<-2;-3<f6/f1<0。f1为所述第一透镜的焦距,f2为所述第二透镜的焦距,f3为所述第三透镜的焦距,f4为所述第四透镜的焦距,f5为所述第五透镜的焦距,f6为所述第六透镜的焦距。
根据本发明的一个实施例,所述光谱芯片进一步包括一图像传感器和被设置于所述图像传感器感光侧的至少一滤光结构,其中所述滤光结构位于所述图像传感器的上方,所述滤光结构为频域或者波长域上的宽带滤光结构。
根据本发明的一个实施例,所述光谱芯片的所述滤光结构选自由超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS、FP etalon、cavity layer、waveguide layer以及衍射元件组成的组合。
根据本发明的一个实施例,所述数据处理单元选自由MCU、CPU、GPU、FPGA、NPU以及ASIC组成的处理单元组合。
根据本发明的另一方面,本发明进一步提供一终端设备,包括:
一终端设备主机;和
如上任一所述的光谱装置,其中所述光谱装置与所述终端设备主机相电气地连接,由所述终端设备主机发送控制指令至所述光谱装置,以调整所述光谱装置的焦距。
根据本发明的一个实施例,进一步包括一选择模块,其中所述选择模块可供选择待测物,并生成所述控制指令。
根据本发明的一个实施例,进一步包括一判断模块,其中所述判断模块识别并判断所述待测物体的光谱特性,再进一步根据待测物体的光谱特性,生成所述控制指令。
根据本发明的一个实施例,进一步包括一成像模组,其中所述成像模组与所述终端设备主机相电气连接,借以所述成像模组获取所述待测物的图像信息,以分析所述待测物的光谱特性。
根据本发明的另一方面,本发明进一步提供一光谱装置的工作方法,包括:
(a)基于一控制指令以调整一光学系统焦距,以调制所述入射光到达一光谱芯片的主光角和/或收光光锥角;和
(b)为所述光谱芯片匹配一透射谱矩阵,并基于所述透射谱矩阵计算出所述入射光的光谱信息。
根据本发明的一个实施例,所述光谱装置的所述光学系统包括至少一透镜组件和至少一移动机构,通过所述移动机构驱动所述至少一透镜组件移动,以改变所述光学系统的有效焦距。
根据本发明的一个实施例,所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,其中所述光学系统的所述第二透镜组与所述移动机构相传动地连接,通过所述移动机构驱动所述第二透镜组移动,通过改变所述光学系统的焦距,使得所述入射光到达所述滤光结构表面的主光角和/或光锥角发生变化。
根据本发明的一个实施例,所述光学系统包括至少一液体镜头组件和至少一透镜组件,所述液体镜头组件和所述透镜组件沿同一光轴方向前后设置,所述液体镜头组件可以改变其自身的曲率,进而改变所述光学系统的焦距。
根据本发明的一个实施例,所述液体镜头组件可以包括至少一可变形透镜体、一可弯曲透明盖部件以及一致动器,其中所述可弯曲透明盖部件附着于所述至少一可变形透镜体的表面,所述致动器位于所述可弯曲透明盖部件的上表面,通过所述致动器对所述 可变形透镜体做功,使得所述可变形透镜体变形,从而使得所述光学系统发生变焦。
根据本发明的一个实施例,所述光学系统包括至少一透镜组件、至少一移动机构以及至少一转折件,其中所述转折件被设置于所述至少一透镜组件的光轴方向的前端,所述移动机构与所述至少一透镜组件相连,由所述移动机构驱动所述至少一透镜组件,以调整所述光学系统的焦距。
根据本发明的一个实施例,所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,其中所述透镜组件的所述第二透镜组与所述移动机构相连,由所述移动机构驱动所述第二透镜组移动,以调整所述光学系统的焦距。
根据本发明的一个实施例,所述第二透镜组包括至少一变焦镜片和至少一补偿镜片,其中所述第二透镜组的所述至少一变焦镜片和所述至少一补偿镜片被可传动地连接于所述移动机构相连,由所述移动机构驱动所述变焦镜片和所述至少一补偿镜片移动,以调整所述光学系统的焦距。
根据本发明的一个实施例,进一步包括步骤:
预设多个透射谱矩阵,并匹配各所述透射谱矩阵对应的主光角,或匹配各所述透射谱矩阵对应于所述光学系统的形态。
通过对随后的描述和附图的理解,本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势,通过下述的详细说明和附图得以充分体现。
图1是根据本发明的一较佳实施例的一光谱装置的框架示意图。
图2A和图2B是根据本发明上述较佳实施例的所述光谱装置的一光谱芯片的可选实施方式的结构示意图。
图3A和图3B是根据本发明上述较佳实施例的所述光谱装置的一光谱芯片的另一可选实施方式的结构示意图。
图4A和图4B是根据本发明上述较佳实施例的所述光谱装置的一光谱芯片的另一可选实施方式的结构示意图。
图5A和图5B是根据本发明上述较佳实施例的所述光谱装置的透射谱曲线的效果示意图。
图6是根据本发明上述较佳实施例的所述光谱装置的所述光谱芯片的另一可选实施 方式的结构示意图。
图7是根据本发明上述较佳实施例的所述光谱装置的一光谱芯片的另一可选实施方式的结构示意图。
图8是根据本发明上述较佳实施例的所述光谱装置的所述光谱芯片的像素结构示意图。
图9是根据本发明另一较佳实施例的一光谱装置的系统框架示意图。
图10是根据本发明上述任一较佳实施例的所述光谱装置的一光学系统的结构示意图,其中所述光学系统为直立式镜头。
图11A和图11B是根据本发明上述任一较佳实施例的所述光谱装置的所述光学系统的动作示意图。
图12是根据本发明上述任一较佳实施例的所述光谱装置的一光学系统的另一可选实施方式的结构示意图,其中所述光学系统为液体镜头。
图13是根据本发明上述任一较佳实施例的所述光谱装置的所述光学系统的动作示意图。
图14是根据本发明上述任一较佳实施例的所述光谱装置的一光学系统的另一可选实施方式的结构示意图,其中所述光学系统为潜望式镜头。
图15是根据本发明上述任一较佳实施例的所述光谱装置的所述光学系统的动作示意图。
图16是根据本发明另一较佳实施例的一光谱装置的结构示意图。
图17是根据本发明上述任一较佳实施例的所述光谱装置的主光角对透射谱曲线影响的实验图。
图18A和图18B是根据本发明另一较佳实施例的所述光谱装置的一光学系统的一变焦镜头的示意图。
图19是根据本发明上述较佳实施例的所述光谱装置的所述光学系统的参数表格示意图。
图20是根据本发明上述较佳实施例的所述光谱装置的所述光学系统产生的场曲和畸变示意图。
图21是应用本发明上述较佳实施例的所述光谱装置的一终端设备的示意图。
图22是应用本发明上述较佳实施例的所述光谱装置的另一终端设备的示意图。
图23是应用本发明上述较佳实施例的所述光谱装置的另一终端设备的示意图。
图24是根据本发明的上述任一较佳实施例的一光谱装置的工作方法示意图。
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
参照本发明说明书附图之图1所示,依照本发明一个较佳实施例的一光谱装置在接下来的描述中被阐明。本实施例的所述光谱装置为计算光谱装置,其通过计算来近似甚至重构入射光的光谱。所述光谱装置包括一光谱芯片10、位于所述光谱芯片10的感光路径的一光学系统20以及与所述光谱芯片10电连接的至少一数据处理单元30。在本发明的该优选实施例中,所述光谱装置的所述光学系统20为可选的,其可被实施为透镜组件、匀光组件等光学系统。所述光谱芯片10进一步包括一图像传感器11和被设置于所述图像传感器11感光侧的至少一滤光结构12,其中所述滤光结构12位于所述图像传感器11的上方,所述滤光结构12为频域或者波长域上的宽带滤光结构。所述光学系统20位于所述光谱芯片10的感光方向的前端,待测物发出或反射的带有所述待测物信息的光线经所述光学系统20被引导至所述光谱芯片10,由所述光谱芯片10将所述待测物的入射光信号转化为适于所述数据处理单元30处理的电信号,并传输至所述数据处理单元30。所述信号处理单元30中搭载有算法处理系统,该算法处理系统能够将差分响应基于算法进行处理,以重构得到原光谱。
值得一提的是,所述滤光结构12对于不同波长的光的透过率不完全相同。所述滤光结构12可被实施为超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS(微 机电系统)、FP etalon(FP标准具)、cavity layer(谐振腔层)、waveguide layer(波导层)、衍射元件等具有滤光特性的结构或者材料。例如,在本申请实施例中,所述滤光结构12可以是中国专利CN201921223201.2中的光调制层。
所述光谱芯片10的所述图像传感器11可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等。在本发明的该优选实施例中,所述光谱装置中可选的所述数据处理单元30可以是MCU、CPU、GPU、FPGA、NPU、ASIC等处理单元,其可以将图像传感器11生成的数据导出到外部进行处理。值得一提的是,所述数据处理单元30可以是集成于所述光谱芯片10;亦可以是独立的处理单元,例如可以为计算机、单片机、云端等
值得一提的是,所述光谱装置的所述图像传感器11测得光强信息后,传入所述数据处理单元30进行处理,例如光谱恢复、光谱成像等。该过程具体描述如下:
待测物的入射光在不同波长λ下的强度信号记为x(λ),其中滤光结构12的透射谱曲线记为T(λ),所述滤光结构12具有m组的结构单元121,每一组所述结构单元121的透射谱互不相同。所述图像传感器11具有多个物理像素,其中所述图像传感器11的所述物理像素与所述滤光结构12的所述结构单元121相对应。所述滤光结构12的所述结构单元121可被记为T
i(λ)(i=1,2,3,…,m)。所述滤光结构12的每一组结构单元121与所述图像传感器11的至少一物理像素相对应,即所述滤光结构12的每一组结构单元121下方都有相应的物理像素,由所述图像传感器11探测经过滤光结构12调制的光强b
i。
在本发明的该优选实施例中,所述图像传感器11的一个物理像素对应一组结构单元121,但是不限定于此,在本发明的其它实施例中,多个物理像素为一组对应于一组结构单元121,其中所述滤光结构12的每一所述结构单元121和所述图像传感器11的至少一物理像素组组成一结构像素102。因此,在根据本申请实施例的计算光谱装置中,至少二所述结构像素102构成一个光谱像素。可以理解的是,在本发明的该优选实施例中,所述滤光结构12的多组所述结构单元121和对应的所述图像传感器11构成所述光谱像素。
值得一提的是,在本发明的该优选实施例中,所述滤光结构12的有效的透射谱(用以光谱恢复的透射谱,叫做有效的透射谱)T
i(λ)数量与结构单元121数量可以不一致,所述滤光结构12的透射谱根据识别或恢复的需求按照一定规则去设置、测试、或计算获得(例如上述每个结构单元121通过测试出来的透射谱就为有效的透射谱)。因此所 述滤光结构12的有效透射谱的数量可以比结构单元121数量少,甚至也可能比结构单元121数量多。因此,可以理解的是,在本发明的该优选实施例中,某一个所述透射谱曲线并不一定是一组结构单元121所决定,可能由多个结构单元121共同决定。
待测物入射光的频谱分布和图像传感器11的测量值之间的关系可以由下式表示:
b
i=∫x(λ)*T
i(λ)*R(λ)dλ
再进行离散化,得
b
i=Σ(x(λ)*T
i(λ)*R(λ))
其中R(λ)为图像传感器的响应,记为:
A
i(λ)=T
i(λ)*R(λ)
则上式可以扩展为矩阵形式:
其中,b
i(i=1,2,3,…,m)是待测光透过所述滤光结构12后所述图像传感器11的响应,分别对应m个结构单元对应的图像传感器11的光强测量值,当一个物理像素对应一个结构单元121时,可以理解为m个物理像素对应的光强测量值可以构成一个长度为m的向量。A是系统对于不同波长的光响应,由滤光结构12透射率和图像传感器11的量子效率两个因素决定,可以称为透射谱矩阵。A是矩阵,每一个行向量对应一组结构单元121对不同波长入射光的响应。作为示例的,在本发明中对入射光进行离散、均匀的采样,共有n个采样点,其中A的列数与入射光的采样点数相同,其中x(λ)即是入射光在不同波长λ的光强,也就是待测量的入射光光谱。
在本发明的其它可选实施例中,滤光结构12可直接形成于所述图像传感器上表面,例如量子点、纳米线等,其直接在图像传感器11的感光区域形成滤光结构或材料(纳米线、量子点等)。换言之,所述滤光结构12被一体地成型于所述图像传感器11的感光侧表面。在所述图像传感器11的上表面加工形成滤光结构,所述透射谱曲线和所述图像传感器的响应是一体的,即可以理解为所述图像传感器的响应和所述透射谱曲线为同一曲线,此时入射光的频谱分布和图像传感器的光强测量值之间的关系可以由下式表示:
b
i=Σ(x(λ)*R
i(λ))
即本实施例中,透射谱A
i(λ)=R
i(λ)
可以理解的是,在本发明的其他可选实施方式中,在所述具有一滤光结构12a的图像传感器上设置至少一用以调制入射光的另一滤光结构12b,既具有双滤光结构的光谱芯片10。可以理解为,将第一个实施例中的图像传感器11可以是CMOS图像传感器(CIS)、CCD、阵列光探测器等换成第二个实施例中集成有滤光结构的图像传感器。
入射光的频谱分布和图像传感器11的光强测量值之间的关系可以由下式表示:
b
i=∫x(λ)*T
i(λ)*R
i(λ)dλ
再进行离散化,得
b
i=Σ(x(λ)*T
i(λ)*R
i(λ))
本实施例中,A
i(λ)=T
i(λ)*R
i(λ)
需要注意的是,所述光谱装置的所述光谱芯片10对于入射的光信号的主光角和收光光锥角比较敏感,待测物的入射光信号的主光角和/或收光光锥角的变化会引起所述光谱芯片的透射谱矩阵的变化,从而影响光谱恢复的准确性。
所述光谱芯片10的任意一个特定位置的主光角表示被导引至所述光谱芯片10的主光线和法线之间的夹角,其中所述主光线表示来自被摄目标的发出光信号的点与抵达所述光谱芯片10的对应结构像素102的点之间的连线,所述法线表示与所述光谱芯片10的感光面垂直的线。本领域技术人员可以理解的是,不同结构像素102的所述主光角的角度允许较大差别,但入射到同一结构像素102的光线需要保持较小的角度差异。
另外需要注意的是,所述光谱芯片10对于入射的光信号抵达所述光谱芯片10的各个位置的收光光锥角也比较敏感。在实际应用中,如果入射光信号的收光光锥角发生较大的变化,将大幅影响光谱恢复的准确性。具体地,当待测物入射的光信号抵达所述光谱芯片的某所述结构像素102时,所述光信号到所述光谱芯片10的所述结构像素102的入射角度(对于所述结构像素102而言,该入射角度也可以定义为该结构单元121的收光光锥角)。如果入射角发生变化,则会导致所述透射谱矩阵A中对应位置的参数值也会产生对应的变化,进而影响到光谱恢复的准确性。进一步,当所述入射光信号的收光光锥角较大时,相当于多个角度入射准直光透射谱的叠加,此时所述滤光结构12所透射的频谱的随机性、复杂度有所下降,不同光调制单元之间的相关性有所提升,从而造成光谱恢复效果下降;相反地,当所述收光光锥角角度越小,所述光谱的恢复效果越好。
也就是说,由于所述滤光结构12的角度敏感性,在进行计算重构的过程中,所述 透射谱矩阵A会受入射的光信号的所述主光角和/或所述收光光锥角的影响。在实际使用环境下,待测物的入射光在空间中的分布情况以及光线的角度分布具有不确定性,因此入射到所述光谱芯片10的不同结构单元121的所述主光角和所述收光光锥角也存在不确定性,从而造成光谱测量的较大误差。简言之,所述待测物的种类不同和待测物的入射光不同都可能会导致所述光信号的所述主光角或所述收光光锥角不同,从而可能会影响到所述光谱装置计算重构的准确性。
值得注意的是,不同待测物体的性质不同,其表现出特性不同,因此需要对应的透射谱矩阵A去进行调制含待测物体信息的入射光,可使得对待测物体进行识别、检测精度更高。因此,在本发明的该优选实施例中,所述光谱装置基于主光角和/或收光光锥角的变化,引起透射谱矩阵A变化,从而实现一个光谱装置针对不同的待测物体,改变主光角和/或收光光锥角,使得对应透射谱矩阵A更加匹配对应的待测物体的特性,从而可以实现高精度识别或检测。
为了便于说明,透射谱矩阵A对应每一行之间的线性相关性情况被定义为相关系数。例如,为常用的皮尔逊相关系数(Pearson correlation coefficient),所谓适配指的是在识别、检测待测物体时,对应待测物体光谱特性的波段下,透射谱矩阵A的每一行之间相关系数低。在本发明中,所述皮尔逊相关系数低指的是相关系数小于等于0.9,优选地是小于等于0.7,更甚至可以小于等于0.4。
所述光学系统20可根据待测物体的特性进行调整,使得含有待测物体信息的入射光到达所述光谱芯片10的所述结构像素102的主光角和/或收光光锥角发生变化,所述光谱芯片10的透射谱矩阵A发生变化,更加适配于待测物体的入射光,从而提高识别、检测精度。优选地,在本发明的该优选实施例中,通过调整所述光学系统20的焦距调整所述光学系统20入射光的入射角度,从而调整所述待测物的入射光到达所述光谱芯片10的所述结构像素102的主光角和/或收光光锥角,进而改变所述透射谱矩阵A,以适于所述光谱装置对待测物的相关的光谱进行重构或对待测物进行检测、识别。
需要注意的是,一般来讲,所述光学系统20的变焦倍率越大,主光角变化范围也大。优选地,所述光学系统20的变焦倍率大于等于2,例如3,4倍。更优选地,在本发明的该优选实施例中,所述光学系统20大于等于5倍变焦。由于本发明所述光谱装置需要的主光角和收光光锥角为特定的角度,需要考虑变焦倍率对应焦距下主光角和收光光锥角的值,即确保主光角和收光光锥角的值使得对应的透射谱矩阵A更适配待测体识别、检测或对应光谱恢复的需求。
以下通过实施例一至实施例三进一步地阐释本发明上述较佳实施例的所述光谱装置的所述光谱芯片10的结构。
实施例一
如图2A和图2B所示,示出了本发明上述较佳实施例的所述变焦光谱装置的一光谱芯片10的可选实施方式的结构。所述光谱芯片10包括一滤光结构12和一图像传感器11,所述滤光结构12沿所述图像传感器11的感光路径设置,所述图像传感器11可以但不限于为CMOS图像传感器(CIS)、CCD、阵列光探测器等。所述滤光结构12包括至少一光调制层120,所述光调制层120具有至少一结构单元121,所述结构单元121与所述图像传感器11的至少一物理像素对应,所述结构单元121对入射光进行调制,再被对应的物理像素接收。
在本发明的该优选实施例中,所述滤光结构12的所述结构单元121和对应于所述结构单元121的所述图像传感器11的至少一所述物理像素构成结构像素102。优选地,所述结构单元121进一步具有至少一调制孔1210,其中所述结构单元121的所述调制孔1210与所述图像传感器11的所述物理像素正向相对。值得一提的是,在本发明的该优选实施例中,任一个所述结构像素102的所述结构单元121可以具有相同或不同类型的所述调制孔1210,即所述结构单元121可具有多个调制孔,并且存在至少二调制孔1210的结构、参数不同。优选地,一个结构像素102仅由一种结构、尺寸一致的所述调制孔1210构成。所述光调制层120的材料可以为硅、锗、锗硅材料、硅的化合物、锗的化合物、金属以及III-V族材料、氧化钽、和/或二氧化钛等,其中硅的化合物包括但不限于氮化硅、二氧化硅以及碳化硅等。值得一提的是,所述光调制层120的材料可以但不限于二氧化硅和高分子聚合物等低折射率的材料。
值得一提的是,各所述结构单元121的所述调制孔1210均具有C4对称性,即表现为调制孔1210沿对称轴旋转90°、180°或270°后,所述调制孔1210的结构与原来的结构重合。相应地,所述结构单元121的所述调制孔1210的结构包括圆、十字、正多边形、正方形、椭圆形等。从而使得所述光谱芯片10实现偏振无关,该光谱芯片10可以测量入射光的频谱信息,且不受入射光的偏振特性的影响。
所述光调制层120可以通过粘接、耦合、键合、沉积等工艺形成于所述图像传感器11的上表面。作为示例的,在图像传感器11的上表面沉积对应的光调制层材料,再进行刻蚀形成对应的调制孔,以在所述图像传感器11的表面制得所述滤光结构12。可选地,可以先于所述图像传感器11上表面沉积一介质层的材料,再将所述介质层上表面 平整化,获得平整的上表面的介质层,再于介质层的上表面沉积一层光调制层材料,再涂覆光刻胶层,曝光刻蚀形成光调制层对应的结构单元,去除光刻胶层,得到所需的光谱芯片。
本领域技术人员可以理解的是,所述光谱芯片10亦可以采取先加工获得光调制层,再将光调制层通过耦合、键合方式与所述图像传感器结合,需要注意的是,再该工艺中所述图像传感器上表面需要保持平整,因此优选地,需要在所述图像传感器上表面先加工形成一具有平整面的介质层。
实施例二
如图3A和图3B所示,示出了本发明上述较佳实施例的所述变焦光谱装置的一光谱芯片10A的可选实施方式的结构。在本发明的该实施例中,所述光谱芯片10A为分区域芯片结构。详细地说,所述光谱芯片10A包括一滤光结构12A和一图像传感器11A,所述滤光结构12A沿所述图像传感器11A的感光路径设置。所述滤光结构12A包括一光调制层120A,其中所述光调制层120A进一步包括多个调制区域122A和用以间隔相邻所述调制区域122A的至少一非调制区域123A,其中所述调制区域122A对入射光进行调制,调制后的入射光被图像传感器11A所接收,通过计算可恢复对应光谱。
所述滤光结构12A的所述光调制层120A进一步包括多个结构单元121A,其中所述光调制层120A的所述结构单元121A位于所述光调制层120A的所述调制区域122A,并且所述光调制层120A的所述结构单元121A具有对应的透射谱曲线;而所述非调制区域123A可以不设置任何结构,即不对入射光做处理就被对应区域的所述图像传感器的物理像素所接收。可选地,所述非调制区域123A也具有对入射光进行过滤、转折、汇聚、折射、衍射、扩散和/或准直等调整功能,其可以实施为具有滤波器、凹透镜、凸透镜、光学衍射等具有特定调整功能的结构。
优选地,在本发明的该优选实施例中,所述光调制层120A的所述调制区域122A被实施为由调制孔构成的所述结构单元121A,而所述非调制区域123A则由RGB像素、或黑白像素等常见成像像素构成。
值得一提的是,在本发明的该优选实施例中,来自待测物体的目标光束照射所述光谱芯片10A的所述光调制层120A的所述调制区域122A的每个所述结构单元121A对应的像素点的频谱信息,确定出待测物体的光谱信息;根据目标光束照射所述光调制层120A中每个所述非调制区域123A对应的像素点的光强信息,确定出待成像对象的图像信息。因此,本发明的所述光谱装置的所述光谱芯片10A与现有技术的图像传感器 相比,可以不影响所成图像的空间分辨率及成像质量的同时,获得光谱信息,便于掌握待成像对象更全面的信息。由于待测物体的光谱信息可以用于唯一标识待成像对象,因此可以通过待成像对象的光谱信息实现对待成像对象进行定性或定量分析,可以使光谱芯片应用于如水果新鲜度、大气污染程度、AI场景识别、活体识别等领域,增加了光谱成像芯片的应用场景,为光谱成像芯片的广泛应用提供理论基础。
实施例三
如图4A至图6所示,示出了本发明上述较佳实施例的所述变焦光谱装置的一光谱芯片10B的可选实施方式的结构。在本发明的该实施例中,所述光谱芯片10B为多层结构。在实际产业中,受加工工艺的局限,加工出具有复杂结构的结构单元与形成具有较高加工精度的结构单元成为一对技术矛盾。具体地,当用于调制入射光的结构单元为调制孔(也就是,结构单元为调制孔时,例如,通孔、盲孔)时,理想情况下,调制孔越复杂对入射光的调制效果越好。然而,在实际产业中,通过现有的生产工艺难以获得复杂的调制孔。特别是,调制孔的深度越深,调制孔的精度越难以保证,例如刻蚀中,深度较浅之处精度较高,随着孔的加工深入,刻蚀液浓度、刻蚀时间、速度等会较难控制,则可能导致刻蚀精度变低。
提高结构单元的复杂度的同时保证加工精度是难以实现的,本实施例通过多层调制的方式降低对单层调制层的结构单元的复杂度的要求。应可以理解,单层调制层的结构单元的精度通过现有的加工工艺可具备较高的加工精度,而通过多层调制的方式可根据实际需求相对灵活地调整光谱芯片整体的调制结构的复杂度。
详细地说,以两层光调制层为例进行说明,所述光谱芯片10B包括一滤光结构12B和一图像传感器11B,所述滤光结构12B沿所述图像传感器11B的感光路径设置。所述光谱芯片10B的所述滤光结构12B包括一第一光调制层124和一第二光调制层125B,其中,所述第一光调制层124B和所述第二光调制层125B用于对入射光进行调制,由所述第一光调制成124B和所述第二光调制层125B上下叠加组成所述滤光结构12B的一光调制层120B。可以理解的是,在本发明的该优选实施例中,所述光调制层120B还可以进一步包括第三调制层或第四调制层,即所述光调制层120B的层数在此仅仅作为示例的,而非限制。
所述图像传感器11B用于接收被调制后的光信号并对所述被调制后的光信号进行处理以获得被测目标的光谱信息,所述第一光调制层124B与所述第二光调制层125B是共同完成对所述入射光的调制。值得一提的是,本发明该优选实施例的所述光谱芯片 10B对应的透射谱矩阵A不能简单的理解为是第一光调制层124B的透射谱A1和所述第二光调制层125B的透射谱A2的卷积,而是由所述第一光调制层124B和所述第二光调制层125B共同作用形成的透射谱矩阵A。
作为示例的,在本发明的该优选实施例中,所述第一光调制层124B和所述第二光调制层125B都可被实施为具有调制孔的结构。详细地说,所述第一光调制层124B进一步包括多个第一结构单元1241B,所述第二光调制层125B进一步包括多个第二结构单元1251B,其中至少一所述第一结构单元1241B和至少一所述第二结构单元1251B相对应,即待测物的入射光线经所述第一结构单元1241B调制后再经所述第二结构单元1251B调制,以提高所述光调制层120B的光调制效果。各所述第一结构单元1241B进一步具有至少一第一调制孔1240B,所述第二结构单元1251B进一步具有至少一第二光调制孔1250B,所述第一光调制层124B的所述第一调制孔1240B与对应的所述第二光调制层125B的所述第二调制孔1250B存在差异。
可以理解的是,所述第一调制孔1240B和所述第二调制孔1250B的差异可以是结构(例如,形状,类型)和/或结构参数(例如,结构尺寸、结构深度)不同。在本发明的一个示例中,所述第一结构单元1241B的一个所述第一调制孔1240B为圆孔,与所述第一结构单元1241B对应的所述第二结构单元1251B的所述第二光调制孔1250B为方孔。在本发明的另一个示例中,所述第一结构单元1241B的一个所述第一调制孔1240B为圆孔,与所述第一结构单元1241B对应的所述第二结构单元1251B的所述第二光调制孔1250B也是圆孔,但是直径和/或孔的深度不同。
为了进一步体现本申请的优势,如图5A和图5B图示了所述光调制层120B的所述第一结构单元1241B和所述第二结构单元1251B被实施为第一圆孔、第二圆孔,并且所述第一圆孔和第二圆孔组合后多层结构对应的透射谱图。在图5A所示意的效果中,第一曲线和第二曲线对应的结构单元单元形状都为圆孔,但尺寸不同;在图5B所示意的效果中,该曲线为第一圆孔和第二圆孔组合产生新的调制效果,可明显得出两个简单的图形组合可以使得透射谱复杂化,使得最终恢复精度提高。
如图4A和图4B所示,所述光谱芯片10B进一步包括一介质层13B,其中所述介质层13B被形成在所述光谱芯片10B的所述图像传感器11B和所述滤光结构12B之间,用以结合所述滤光结构12B和所述图像传感器11B。作为示例的,所述介质层13B可以为二氧化硅,并且所述介质层13B具有平整上表面,从而使得所述滤光结构12B与所述图像传感器11B结合性能更佳。
所述光谱芯片10B进一步包括一连接层14B,所述连接层14B位于所述滤光结构12B的所述第一光调制层124B和所述第二光调制层125B之间,对所述第一光调制层124B和所述第二光调制层125B起到连接作用。优选地,所述连接层14B由低折射率的材料构成,例如氧化硅等,有利于提升所述光谱芯片10B的透射谱的复杂度。值得一提的是,所述连接层14B的折射率与所述光调制层120B的折射率差值较大。
如图6示出了本发明所述光谱芯片10B的另一可选实施方式,其中所述光谱芯片10B进一步包括至少一填充结构15B,其中所述填充结构15B被形成于所述滤光结构12B的所述第一光调制层124B和/或所述第二光调制层125B,光线可透过所述光谱芯片10B的所述填充结构15B传递。值得一提的是,在本发明的该优选实施例中,所述光谱芯片10B的所述填充结构15B被形成在所述第一光调制层124B和/或所述第二光调制层125B的调制孔内,用以提升调制复杂度。
作为示例的,所述第一光调制层124B填充所述填充结构15B或所述第二光调制层125B填充所述填充结构15B,也可以是第一光调制层124B和第二光调制层125B同时具有填充结构,对应的填充结构15B可以是一样的也可以是不一样的,优选地本实施例种所述第一光调制层124B和第二光调制层125B由高折射率材料构成,例如氮化硅、单晶硅等;填充结构15B由低折射率材料形成,例如金属、氧化硅等。进一步,所述光谱芯片10B进一步包括一覆盖层16B,所述覆盖层16B位于所述滤光结构12B的所述第一光调制层124B的上表面。因此,可以理解的是,所述待测物的入射光先经过所述覆盖层16B,进入所述滤光结构12B的所述第一光调制层124B,即经过所述第一结构单元1241B,再进入所述连接层14B,然后进入所述第二光调制层125B,即经过所述第二结构单元1251B后完成对入射光的调制,再被所述图像传感器11B所接收。
实施例四
随着图像传感器的工艺提升,所述图像传感器对应的物理像素尺寸变小,入射光难以被聚焦在对应的物理像素上,物理像素之间会产生干扰。而物理像素之间的干扰,会使得发生干扰的像素单元对应的矩阵A和输出b
i与实际结果之间产生偏差,这就会导致在光谱恢复中恢复结果发生偏差,与实际不符。
针对上述技术问题,如图7和图8所示,依照本发明另一方面的一光谱芯片10C在接下来的描述中被阐明。所述光谱芯片10C包括一图像传感器11C、位于所述图像传感器11C的感光路径上的一滤光结构12C,以及用于防止入射光在所述图像传感器11C处发生串扰的多个栅格17C。相应地,所述图像传感器11C包括衬底层111C和形成于 所述衬底层111C的至少一物理像素。在该实施例中,所述物理像素以阵列的形式排布于所述衬底层111C上以形成物理像素阵列。所述滤光结构12C包括至少一结构单元121C,所述结构单元121C具有特定的透射谱,用于对入射光进行调制,所述栅格17C位于所述结构单元121C之间。所述滤光结构12C的每一所述结构单元121C和所述图像传感器11C的至少一物理像素组组成一结构像素102C。
所述光谱芯片10C可通过设置在结构像素102C之间的栅格17C来避免进入结构像素102C之间的入射光之间发生串扰。值得一提的是,在本申请实施例中,结构像素102C可以分为两种情况,一种是一组结构单元121C对应一个物理像素,此时所述栅格17C可以理解为设置于相邻的结构单元121C之间且包围对应的物理像素。优选地,本申请中一组结构单元121C对应多个物理像素,例如对应4个物理像素、9个物理像素或16个物理像素等,多个物理像素呈现方形,例如2*2,3*3,4*4个物理像素等。所述栅格17C的设置以结构像素102C为单元,即所述栅格17C设置于相邻的滤光结构12C单元之间且包围对应多个物理像素。
进一步,所述栅格17C可以为金属材料、也可以为非金属材料,例如可以由铜、铝构成,也可以是由低n材料构成,其中,所述低n材料可以为低折射率材料。值得一提的是,金属材料或低n材料可以使得入射到所述栅格17C表面的入射光被反射进入到对应的物理像素,除了防止串扰,还可以提高对应的QE值。
可选地,在本发明的其他可选实施方式中,所述光谱芯片10C的光调制层120C进一步包括多个调制区域122C和用以间隔相邻所述调制区域122C的至少一非调制区域123C,其中所述调制区域122C对入射光进行调制,调制后的入射光被图像传感器11C所接收,通过计算可恢复对应光谱。在本发明的该优选实施例中,所述光调制层120C的所述调制区域122C具有结构单元121C与物理像素构成的结构像素102C,因此所述栅格17C以所述结构像素102C为单位,分别设置于所述结构单元121C之间;所述光调制层120C的所述非调制区域123C则以所述物理像素为单位,所述栅格17C设置于所述物理像素之间。
实施例五
目前的光谱成像技术,主要是基于光谱仪加上机械扫描结构实现的,该方案需要的机械扫描的精度控制以及扫描步长之间的权衡,会带来成本的上升和时间维度分辨率的降低。除此之外,利用滤光片和光探测阵列实现的光谱仪,因为其天然的二维感光结构优势,可以通过光谱仪的阵列化直接实现光谱成像,该方案在成本、时间分辨率、集成 度上有不可替代的优势,结合计算光谱的方法,可以大幅提升该方案的空间分辨率,从而综合效果具有显著的优势。然而,该方案有较大的数据存储、逻辑处理需求,尤其在高光谱分辨率、高空间分辨率以及高帧率需求的情况下,对系统结构提出了新的挑战。
参照本发明说明书附图之图9所示,依照本发明另一较佳实施例的一光谱装置在接下来的描述中被阐明。与上述第一较佳实施例不同的是所述光谱装置的一光谱芯片10D,所述光谱芯片10D包括一图像传感器11D、位于所述图像传感器11D光学路径上的一滤光结构12D,多个存储器18D以及一逻辑处理组件19D,所述图像传感器11D、所述存储器18D以及所述逻辑处理组件19D采用堆叠结构设置,从而实现数据和/或信号的传递和处理。所述存储器18D通常选用RAM,如DRAM,SRAM等。逻辑处理组件19D由多个一级逻辑处理器191D和多个二级逻辑处理器192D构成,另外,所述逻辑处理器可以是ISP,CPU,GPU或者NPU等处理单元,或者针对特定算法订制的逻辑计算单元,即将特定算子进行固化的计算单元。
所述光谱芯片10D被分为第一堆叠层101D和一第二堆叠层103D,所述第一堆叠层101D包括所述图像传感器11D、多个所述存储器18D以及以物理像素为最小单元的多个所述一级逻辑处理器191D,所述图像传感器11D、多个所述存储器18D和以及所述逻辑处理器19D依次堆叠,其中所述图像传感器11D的一个物理像素对应一个所述存储器18D和一个所述一级逻辑处理器191D,所述第二堆叠层103D包括至少一二级逻辑处理器192D,所述二级逻辑处理器192D位于所述第一堆叠层101D的下方,连接于所述一级逻辑处理器191D。可以通过第一堆叠层进行光电转化、信号存储以及传统的图像处理,如信号扫描相差色差处理等,该层以物理像素为单位,对每一个物理像素读取的信号进行处理。在这基础之上,再将构成光谱像素的物理像素读取的信号传送至对应的第二堆叠层103D的所述二级逻辑处理器192D,通过第二堆叠层103D进行光谱恢复相关的逻辑运算,如采取上述的人工神经网络、最小二范数等进行运算。
在本实施例中,所述二级逻辑处理器192D与至少一个所述一级逻辑处理器191D相连,并实现数据直接传输或间接传输,两者分别对接收到的信号进行不同的处理,从而每个光谱像素的所述二级逻辑处理器192D可以直接实现光谱恢复。再将所述光谱像素阵列化拓展,即可获得光谱图像。值得一提的是,所述二级逻辑处理器192D可以以光谱像素为单位进行设置,例如光谱像素包含10*10个物理像素,则所述二级逻辑处理器192D对应连接10*10个一级逻辑处理器191D。
从堆叠结构来看,无论是物理结构上还是数据流上,本实施例中的光谱装置的所述 图像传感器11D都有集成的作用,即物理方面二级逻辑处理器尽可能与其对应的物理像素集成(靠近),使得数据传输距离变小,而数据方面则是将对应构成光谱像素的物理像素的数据统一传送给对应的二级逻辑处理器进行运算。
实施例六
图10至图11B进一步阐释本发明上述任一较佳实施例的所述光谱装置的一光学系统20的具体实施方式。作为示例的,在本发明的该优选实施例中,所述光学系统20被实施为一直立式镜头。
需要说明的是,不同待测物体的性质不同,其表现出特性不同,因此需要对应的透射谱矩阵A去进行调制含待测物体信息的入射光,可使得对待测物体进行识别、检测精度更高。也就是说,在本发明的该优选实施例中,基于待测物的性质、种类以及其表现出的特性,通过所述光学系统20调整待测物入射光入射到所述光谱芯片10的主光角及收光光锥角,以使得所述光谱芯片10对应的透射谱矩阵A能够适应当前待测物的特性,从而提高所述待测物的识别和检测精度。换言之,本发明基于主光角对透射谱矩阵A的影响,通过所述光谱装置的所述光学系统20实现在不同场景或对不同的待测物体的精准识别或测试。
详细地说,在本发明的该优选实施例中,所述光学系统20可被实施为一变焦镜头组。所述光学系统20包括至少一透镜组件21,基于所述待测物的特性,通过调整所述至少一透镜组件21的相对位置,改变所述光学系统20的有效焦距,使得待测物入射光入射到所述光谱芯片10的主光角和/或收光光锥角对应的透射谱矩阵更加适于所述待测物。
如图10所示,所述光学系统20的所述透镜组件21进一步包括一第一透镜组21a、一第二透镜组21b以及一第三透镜组21c,其中所述第一透镜组21a、所述第二透镜组21b以及所述第三透镜组21c沿同一光轴方向设置,所述第二透镜组21b位于所述第一透镜组21a和所述第三透镜组21c之间。
优选地,所述第一透镜组21a和所述第三透镜组21c为在光轴上的位置相对固定,而所述第二透镜组21b可被驱动,并沿光轴方向移动,从而实现变焦(改变有效焦距)。值得一提的是,在本发明的其他可选实施方式中,所述第一透镜组21a也可以是可以移动的,可以通过所述第一透镜组21a的移动提高变焦倍数。进一步地,所述第二透镜组21b进一步包括至少一变焦镜片211b和至少一补偿镜片212b,通过所述变焦镜片211b和所述补偿镜片212b的移动实现变焦。
所述光谱芯片10包括一滤光结构12和图像传感器11,所述滤光结构12位于所述图像传感器11的光学路径上,所述滤光结构12包括多个结构单元121,其中所述结构单元121可以对经过光学系统20后的入射光进行调制,再被所述图像传感器11接收。所述结构单元121具有对应的透射谱曲线,其可以对入射光进行调制。
所述光谱装置工作原理:含待测物体的入射光先进入光学系统20,经过光学系统20的调整,会以特定的主光角和收光光锥角入射到所述滤光结构12表面,再经过所述滤光结构12进行调制,然后被所述图像传感器11接收,再通过算法恢复或计算对应光谱信息,从而对待测物体实现识别、或检测等。
所述光学系统20进一步包括至少一移动机构22,其中所述光学系统20的所述第二透镜组21b与所述移动机构22相传动地连接,通过所述移动机构22驱动所述第二透镜组21b移动,通过改变所述光学系统20的焦距,使得所述入射光到达所述滤光结构12表面的主光角和/或收光光锥角发生变化。具体地说,所述移动机构22可传动地连接于所述第二透镜组21b的所述变焦镜片211b和所述补偿镜片212b,由所述移动机构22驱动所述第二透镜组21b的变焦镜片211b和所述补偿镜片212b,以调整所述光学系统20的焦距。
与所述光学系统20对应所述光谱芯片10的所述结构单元121由于入射光的主光角和/或收光光锥角变化,使其对应的透射谱曲线发生变化。由于透射谱矩阵A则是多个结构单元的透射谱曲线构成,因此所述光学系统20变焦会引起透射谱矩阵A发生变化,从而根据对待测物体特性选择对应的焦距进行识别、检测,以提高识别、检测精度。所述移动机构22可以实施为马达、压电陶瓷等具有使镜片移动的器件。
进一步地,所述光谱装置进一步包括至少一对焦机构40,其中所述对焦机构40与所述第一透镜组21a相连,通过所述对焦机构40驱动所述第一透镜组21a实现所述对焦。可选地,在本发明的其他可选实施方式中,所述对焦机构40也可以作用于整个光学系统20,即所述光学系统20与所述对焦机构40相连,通过对所述光学系统230的移动实现对焦。
所述光学系统20还包括一光阑23,所述光阑23被设置于所述第一透镜组21a的前端。
进一步,日常中,光谱装置抖动会带来6个自由度的偏移,即,三个正交方向的线性移动(X,Y和Z),滚动(围绕X轴倾斜),偏摆(围绕Z轴倾斜)和俯仰(围绕Y轴倾斜)。“滚动”还涉及提供所恢复的图像的光谱芯片10的光轴周围的倾斜。滚动导致围绕图 像中心的图像的旋转(并且因此可以被称为“图像滚动”)。X-Y-Z中的线性运动对光谱恢复质量影响不大,一定程度上可以不进行补偿,尤其是Z轴的移动(即光轴方向的移动)。当然,也可以通过光谱装置自身与防抖机构连接,防抖机构驱动所述光谱装置整体运动实现防抖。
所述光谱装置进一步包括至少一防抖机构50,其中所述防抖机构50与所述第一透镜组21a相连,即所述防抖机构50作用在所述光学系统20的所述第一透镜组21a通过第一透镜组21a的滚动、偏摆、移动和/或俯仰实现防抖。所述防抖机构50被连接于所述第一透镜组21a,通过加速度计或陀螺仪之类的惯性设备接收到的信息,获取光谱装置的抖动情况,再由所述防抖机构50驱动并产生相反方向的滚动、偏摆、移动和/或俯仰实现防抖。所述防抖机构50需要实现的防抖维度越多,对防抖机构要求越多,一般也会使得防抖机构占更多空间,使得光谱装置尺寸过大。因此,在本发明的该优选实施例中,所述光谱装置具有至少二轴防抖,例如当实现两轴防抖,一般预防X、Y轴抖动带来偏转、俯仰影响;而三轴防抖,则一般预防X、Y、Z轴带来的偏转、俯仰、偏摆的影响。而对于五轴防抖,则在三轴基础上,引入X、Y轴平移补偿。.
在本发明的另一可选实施方式中,光学系统20和光谱芯片10同时具有防抖功能,从而达到多轴防抖效果。也就是说,所述防抖机构50可传动地连接于所述光学系统20和所述光谱芯片10,由所述防抖机构50驱动所述光学系统20和所述光谱芯片10相配合地移动,以提高防抖效果。
需要注意的是,防抖机构也可以直接与光学系统相作用实现防抖;也可以直接与所述光谱装置连接,实现整体防抖。
实施例七
图12至图13进一步阐释本发明上述任一较佳实施例的所述光谱装置的另一光学系统20A的具体实施方式。作为示例的,在本发明的该优选实施例中,所述光学系统20A被实施为一液体镜头。
本实施例所述光学系统20A包括至少一液体镜头组件25A和至少一透镜组件21A,所述液体镜头组件25A和所述透镜组件21A沿同一光轴方向前后设置,所述液体镜头组件25A可以改变其自身的曲率,进而改变所述光学系统20A的焦距。
所述液体镜头组件25A可以包括至少一可变形透镜体251A、一可弯曲透明盖部件252A以及一致动器253A,其中所述可弯曲透明盖部件252A附着于所述至少一可变形透镜体251A的表面从而为所述至少一可变形透镜体251A提供机械稳定性。所述致动 器253A被用来将所述可弯曲透明盖部件252A塑造成所需形状,所述致动器253A位于所述可弯曲透明盖部件252A的上表面,所述所需形状由所述致动器253A的配置图案以及施加于致动器253A的所述配置图案的各自的电压幅值限定。通过所述致动器253A对所述可变形透镜体251A做功,使得所述可变形透镜体251A变形,从而使得所述光学系统20A发生变焦。优选地,所述至少一可变形透镜体251A具有大于300Pa的弹性模量,从而避免了由于正常操作所述可弯曲透明盖部件252A中的引力而引起的变形。优选地,所述透镜体251A具有尽可能高的折射率,如在1.35-1.90的范围内。相应地,透镜体的折射率应当至少为1.35,如在1.35-1.75之间的范围内,如在1.35-1.55之间的范围内。所述可变形透镜体251A在可见光区的吸收率,为每毫米厚度小于10%,并且所述可变形透镜体251A包含交联或部分交联聚合物的聚合物网状物,并进一步包含混合油或结合油,从而提高了所述交联或部分交联聚合物的聚合物网状物的折射率。
与上述较佳实施例相同的是,所述光谱装置进一步包括至少一对焦机构40A,其中所述对焦机构40A与所述第一透镜组21a相连,通过所述对焦机构40A驱动所述第一透镜组21a实现所述对焦。所述光学系统20A还包括一光阑23A,所述光阑23A被设置于所述第一透镜组21a的前端。
所述光谱装置进一步包括至少一防抖机构50A,其中所述防抖机构50A与所述光学系统20A的所述液体镜头组件25A和/或所述至少一透镜组件21A相连,或者所述防抖机构50A与所述光谱芯片10相传动地连接,通过所述防抖机构50A驱动所述光学系统20A和/或所述光谱芯片10实现所述光谱装置的防抖功能。优选地,所述防抖机构设置于所述透镜组件21A。
实施例八
图14A至图15进一步阐释本发明上述任一较佳实施例的所述光谱装置的另一光学系统20B的具体实施方式。作为示例的,在本发明的该优选实施例中,所述光学系统20B被实施为一潜望式镜头。
所述光学系统20B为一变焦镜头,所述光学系统20B包括至少一透镜组件21B、至少一移动机构22B以及至少一转折件26B,其中所述至少一移动机构22B与所述至少一透镜组件21B相连,由所述移动机构22B驱动所述至少一透镜组件21B移动,以改变所述光学系统20B的焦距。所述转折件26B被设置于所述至少一透镜组件的光轴方向的前端,由所述转折件26B偏转入射或出射所述至少一透镜组件21B的光的传输方向。所述透镜组件21B进一步包括一第一透镜组21a、一第二透镜组21b以及一第三透 镜组21c,其中所述第一透镜组21a、所述第二透镜组21b以及所述第三透镜组21c沿同一光轴方向设置,所述第二透镜组21b位于所述第一透镜组21a和所述第三透镜组21c之间。
所述转折件26B、所述第一透镜组21a、第二透镜组21b和第三透镜组21c依次沿着排布,入射光进入所述转折件26B被转折后,依次经过第一透镜组21a、第二透镜组21b和第三透镜组21c到达所述滤光结构12,并由所述滤光结构12所调制后,被所述图像传感器11所接收。
值得一提的是,所述透镜组件21B的所述第一透镜组21a、所述第二透镜组21b以及所述第三透镜组21c中的至少一透镜组被可传动地连接于所述移动机构22B,由所述移动机构22B驱动所述第一透镜组21a、所述第二透镜组21b或所述第三透镜组21c移动,以改变所述光学系统20B的焦距。也就是说,所述第一透镜组21a也可被移动,通过所述第一透镜组21a的移动提高变焦倍数。优选地,所述移动机构22B与所述第二透镜组21b相连,其中所述第二透镜组21b包括至少一变焦镜片211b和至少一补偿镜片212b,通过所述变焦镜片211b和所述补偿镜片212b的移动实现变焦。所述第二透镜组21b的所述至少一变焦镜片211b和所述至少一补偿镜片212b被可传动地连接于所述移动机构22B,由所述移动机构22B驱动所述变焦镜片211b沿光轴方向移动,以调整所述光学系统20B的整体焦距。
本实施例通过所述转折件26B,将入射光从高度方向传播转为水平方向传播,从而可以使得光谱装置高度降低。所述转折件26B可以实施为棱镜或者反射镜。值得一提的是,所述转折件26B前端可选地设置至少一前置透镜组(图中未示出),通过所述前置透镜组可以使所述光谱装置的FOV变大、或光通量增加。
进一步,由于所述光学系统20B一般对应的光程较长,会使得一方向上的尺寸过大。如图14B示出了本发明的另一可选实施方式,所述光学系统20B的所述转折件26B进一步包括一第一转折件261B和一第二转折件262B,其中所述第一转折件261B将高度方向(可定义为Z轴)的入射光转折至X轴传播,再由所述第二转折件262B将沿着X轴传播的入射光转折至Y轴,其中X轴和Y轴垂直,Z轴垂直X、Y轴构成的面。所述第一转折件261B、所述第一透镜组21a、第二透镜组21b、所述第二转折件262B、所述第三透镜组21c和以及所述光谱芯片10依次排布。
值得一提的是,为了确保进光量,所述第一透镜组21a对应的镜片尺寸往往是最大的,其也直接决定了所述光谱装置的高度,因此可以对所述第一透镜组21a包括至少一 第一透镜镜片211a,其中所述至少一透镜镜片211a沿着与Z轴垂直方向进行切边。所述第一透镜镜片211a包括有效区和非有效区,可以通过将非有效区去掉从而控制所述镜片高度,从而使得所述光谱装置高度降低。可以理解的是,通过切边可以控制所述第一透镜镜片211a的高度小于等于6mm,进一步确保所述光谱装置小于等于6.5mm。
优选地,所述第一透镜镜片211a小于等于5.5mm,所述光谱装置小于等于5.9mm。进一步,为了弥补进光量减少的问题,所述第一透镜组21a的所述第一透镜镜片211a被实施为玻璃镜片,从而使得透过的光损耗更小,使得进光量更多。
与上述较佳实施例相同的是,所述光谱装置进一步包括至少一对焦机构40B,其中所述对焦机构40B与所述第一透镜组21a相连,通过所述对焦机构40B驱动所述第一透镜组21a实现所述对焦。所述光学系统20B还包括一光阑23B,所述光阑23B被设置于所述第一透镜组21a的前端。
如图14A至图15所示,所述光谱装置进一步包括至少一防抖机构50B,其中所述防抖机构50B与所述光谱装置的所述光学系统20B相连,通过所述防抖机构50驱动所述光学系统20B的移动补偿所述光谱装置在使用过程中产生的抖动。
可以理解的是,所述光学系统20B的所述转折件26B,例如棱镜或反射镜,围绕任何轴的倾斜运动(或“旋转”)可以有利地于镜头模块移动一起用于完整的OIS,包括滚动、俯仰和偏摆带来的图像移动和位移的补偿。所述转折件26B倾斜导致的移位通过所述光学系统20B的适当的相反移位移动来补偿,而所述转折件26B倾斜导致的滚动用于OIS,补偿图像滚动。滚动补偿基于以下事实:所述转折件26B围绕Y的旋转导致X方向上的图像移位,而所述转折件26B围绕诸如X或Z之类的另一轴的旋转导致Y方向上的图像移位和围绕Z的图像旋转。例如,所述转折件26B围绕XZ平面内的轴的任何倾斜将导致Y方向上的滚动+图像移位。即,优选地将围绕X、Y、Z轴转动的带来的抖动,用转折件26B的倾斜或旋转进行补偿,再通过所述透镜组件21B的移动实现水平移动问题。指的注意的是,这边的水平移动可以是使用者手抖动带来的也可能是转折件防抖转动带来的。
所述防抖机构50B进一步包括一第一防抖机构组件51B和一第二防抖机构组件52B,其中所述第一防抖机构组件51B与所述转折件26B相连接,通过所述第一防抖机构组件51B实现所述转折件26B转动实现对滚动、俯仰和偏摆的补偿,其中所述第二防抖机构组件52B与所述光学系统20B的所述透镜组件21B相连接,通过所述第二防抖机构组件52B驱动所述透镜组件21B水平移动,解决水平抖动问题,实现多轴防抖。优 选地,所述第二防抖机构组件52B与所述第一透镜组21a相连接,通过第一透镜组21a的移动实现水平方向防抖。
作为示例的,在本发明的其他可选实施方式中,所述防抖机构50B与所述光谱芯片10相连接,由所述防抖机构50B驱动所述光谱芯片10运动,以补偿由于所述光学系统20B运动造成的抖动。
可选地,在本发明的其他可选实施方式中,所述第一防抖机构组件51B用以驱动所述转折件26B实现滚动(围绕X轴倾斜)和俯仰(围绕Y轴倾斜)的两自由度的补偿,所述第二防抖机构组件52B用以驱动第一透镜组21a用以偏摆(围绕Z轴倾斜)、和水平方向移动的三自由度的补偿。可选地,所述防抖机构50B进一步包括一第三防抖机构组件,其中所述第一防抖机构组件51B用以驱动所述转折件26B实现滚动(围绕X轴倾斜)和俯仰(围绕Y轴倾斜)的两自由度的补偿,所述第二防抖机构组件52B用以驱动所述第一透镜组21a用以偏摆(围绕Z轴倾斜),第三防抖机构组件用以驱动所述光谱芯片10则用以水平方向移动的补偿。
实施例九
图16进一步阐释本发明上述任一较佳实施例的所述光谱装置的一种示例性结构。所述光谱装置进一步包括一线路板70,所述光谱芯片10被电连接于所述线路板70,所述光谱芯片10可以被实施为板上芯片封装(Chips on Board,COB)、CSP(Chip Scale Package)封装或倒装芯片(Flip chip)封装。值得一提的是,所述线路板70可以但不限于PCB、F-PCB、陶瓷基板等,当所述光谱装置用以成像或拍摄视频时,所述光谱芯片10会产生较大的热量。因此,优选地,所述线路板70被实施为陶瓷基板。进一步,所述光谱装置还可以包括一散热件60,所述散热件60可被贴附于线路板70或贴附于光谱芯片10,以提高所述光谱芯片10散热。
所述光谱装置进一步包括一支架80,所述支架80被设置于所述线路板70,所述光学系统20被设置于所述支架80,所述支架80具有一通光孔,用以使进入所述光学系统20的光通过并被光谱芯片10所接收。优选地,所述支架80是塑料等不透光材料通过注塑等工艺形成,再通过粘接剂固定于所述线路板70。进一步地,所述支架80也可以是一体形成于所述线路板70。例如将贴附有光谱芯片10的线路板,放置于模具中,合模,注入模塑材料,固化,拔模,一体成型的模塑体形成于线路板,并包裹光谱芯片的非成像区域,可以有效的提升光谱芯片、线路板的可靠性,进一步一定程度降低了光谱装置的尺寸。
对于特定的应用场景,所述光谱装置还可以包括一滤光片(图中未示出),所述滤光片设置于所述光学系统20和所述光谱芯片10之间,位于所述光谱芯片10的光学路径上。所述滤光片用以过滤不需要的波段的入射光,从而提升成像质量。优选地,所述滤光片被贴附于所述支架。
图17示出了本发明上述任一较佳实施例的所述光谱装置的所述光谱芯片10的主光角对透射谱曲线影响的实验图。值得一提的是,不同待测物体的性质不同,其表现出特性不同,因此需要对应的透射谱矩阵A去进行调制含待测物体信息的入射光,可使得对待测物体进行识别、检测精度更高。
基于主光角和/或收光光锥角的变化,引起透射谱矩阵A变化,从而实现一个光谱装置针对不同的待测物体,改变主光角和/或收光光锥角,使得对应透射谱矩阵A更加匹配对应的待测物体,从而可以实现高精度识别或检测。为了便于说明,此处引入透射谱矩阵A对应每一行之间的相关情况,定义为相关系数,所谓适配指的是在识别、检测待测物体时,对应待测物体光谱特性的波段下,透射谱矩阵A的每一行之间相关系数低。因此,上述任一较佳实施例的所述光谱装置通过改变所述光学系统20的焦距,可以实现一个光谱装置具有多个不同的透射谱矩阵A,可以应用于不同的场景实现高精度的识别或检测。为了进一步强化理解,本发明提供主光角对透射谱曲线影响的实验图。
进一步地,需要确定应用场景或待测物体的特性,即对应含有待测物体的信息的入射光的光谱特性,再根据对应待测物体产生的入射光的光谱特性去适配更加合适的透射谱矩阵A。为了便于理解,作为示例的,所述光谱装置需要应用于至少可以精确检测五种光谱特性不同的物品a,b,c,d,e,此时所述光谱装置应当具有至少五个透射谱矩阵Aa、Ab、Ac、Ad、Ae,其中物品a的光谱特性的波段下,透射谱曲线Aa对应的相关系数低。
因此,需要测出对应的透射谱矩阵Aa、Ab、Ac、Ad、Ae,同时记录透射谱矩阵对应的主光角,和/或所述光学系统20的变焦位置(形态),并进行烧录至所述光谱装置的所述光谱芯片10。从而,当使用者需要测试对应的待测物体时,所述光谱装置会发送指令,从而驱动变焦透镜组移动或变形,从而确定入射光在所述光谱装置的所述光学系统的焦距,从而使得对应透射谱矩阵更加适配于待测物体的光谱特性。
简言之,在本发明的该优选实施例中,通过调整所述光谱装置的所述光学系统20的焦距,使得所述待测物体入射光的主光角和/或收光光锥角的变化,从而使得所述光谱芯片10具有多个不同的透射谱矩阵A。因此,可以根据所述待测物的特性,通过调 整所述光谱芯片10的特定的透射谱矩阵A,使得所述光谱装置适于当前所述待测物,以提高所述光谱装置对所述待测物的光谱恢复的精确性。
值得一提的是,在本发明上述任意较佳实施例的所述光谱装置中,通过所述光谱装置的所述光学系统20的变焦,从而使得所述待测物体入射光的主光角和/或收光光锥角的变化,进而改变所述光谱芯片10的所述透射谱矩阵A。可以理解的是,所述光谱装置既可以独立使用,即所述光谱装置作为一个单独的设备实现光谱曲线测试或光谱成像或光谱视频拍摄。所述光谱装置可被搭载或集成于一终端设备。
实施例十
如图18A至图20所示,可应用于本发明上述第六实施例和上述第八较佳实施例的所述光谱装置的一光学系统20在接下来的描述中被阐明。所述光学系统20包括一第一透镜组21A,一第二透镜组21B以及一第三透镜组21C,其中所述第一透镜组21A、所述第二透镜组21B以及所述第三透镜组21C依次排布于感光路径上。所述第一透镜组21A包括一第一透镜211A和一第二透镜212A,所述第二透镜组21B包括所述第三透镜211B和所述第四透镜212B,所述第三透镜组21C包括所述第五透镜211C和所述第六透镜212C,沿所述光学系统20的光轴o由物侧到像侧(即所述光学系统20的入光方向),所述第一透镜211A、所述第二透镜212A、所述第三透镜211B、所述第四透镜212B、所述第五透镜211C和所述第六透镜212C依次排列。
所述第一透镜211A具有物侧面s1及像侧面s2,所述第二透镜212A具有物侧面s3及像侧面s4,所述第三透镜211B具有物侧面s5及像侧面s6,所述第四透镜212B具有物侧面s7及像侧面s8,所述第五透镜211C具有物侧面s9及像侧面s10,和所述第六透镜212C具有物侧面s11及像侧面s12。
所述光学系统20满足以下关系式:-3<f2/f1<0;0<f3/f1<4;0<f4/f1<4;-7<f5/f1<-2;-3<f6/f1<0。f1为所述第一透镜211A的焦距,f2为所述第二透镜212A的焦距,f3为所述第三透镜211B的焦距,f4为所述第四透镜212B的焦距,f5为所述第五透镜211C的焦距,f6为所述第六透镜212C的焦距。也就是说,f2/f1可以为区间(-3,0)之间的任意值,例如,该值可以为-2.99、-2.27、-2.25、-2.33、-2.26、-2.00、-1.55、-1.00、-0.98、-0.97、-0.05、-0.01等等。f3/f1可以为区间(0,4)之间的任意值。例如,该值可以为0.01、0.02、0.10、0.50、0.80、0.99、1.00、1.11、1.12、1.50、1.72、1.75、1.76、2.00、2.50、3.00、3.55、3.99等。f4/f1可以为区间(0,4)之间的任意值,例如,该值可以为0.01、0.02、0.10、0.50、0.80、0.99、1.00、1.01、1.12、1.50、1.72、1.75、 1.76、2.00、2.50、3.00、3.55、3.99等等。f5/f1可以为区间(-7,-2)之间的任意值,例如,该值可以为-6.99、-6.85、-6.53、-6.24、-5.99、-5.89、-5.66、-5.36、-5.24、-4.99、-4.98、-4.90、-4.58、-4.57、-4.10、-4.00、-3.99、-3.50、-3.42、-3.25、-3.00、-2.50、-2.01等。f6/f1可以为区间(-3,0)之间的任意值,例如,该值可以为-2.99、-2.27、-2.25、-2.33、-2.26、-2.00、-1.55、-1.00、-0.72、-0.71、-0.05、-0.01等。
需要说明的是,当透镜具有正屈折力时,该透镜的焦距为正;当透镜具有负屈折力时,该透镜的焦距为负。两个透镜之间的焦距比为负是指两个透镜具有不同的屈折力,例如,f2/f1的取值为区间(-3,0)之间的任意值,则所述第二透镜212A具有正屈折力,所述第一透镜211A具有负屈折力;或者所述第二透镜212A具有负屈折力,所述第一透镜211A具有正屈折力。两个透镜之间的焦距比为正是指两个透镜具有相同的屈折力,例如,f3/f1的取值为区间(0,4)之间的任意值,则所述第三透镜211B具有正屈折力,所述第一透镜211A具有正屈折力;或者所述第三透镜211B具有负屈折力,所述第一透镜211A具有负屈折力。所述第四透镜212B、所述第五透镜211C和所述第六透镜212C同理,在此不再赘述。
所述第一透镜211A、所述第二透镜212A、所述第三透镜211B、所述第四透镜212B、所述第五透镜211C和所述第六透镜212C为玻璃透镜或塑料透镜。例如,所述第一透镜211A、所述第二透镜212A、所述第三透镜211B、所述第四透镜212B、所述第五透镜211C和所述第六透镜212C均为玻璃透镜。可选地,在本发明的其他可选实施方式中,所述第一透镜211A、所述第二透镜212A、所述第三透镜211B、所述第四透镜212B、所述第五透镜211C和所述第六透镜212C均为塑料透镜。可选地,在本发明的其他可选实施方式中,所述第一透镜211A、所述第二透镜212A、所述第三透镜211B、所述第四透镜212B、所述第五透镜211C和所述第六透镜212C中的部分透镜为玻璃透镜,另一部分透镜为塑料透镜。如此,所述光学系统20通过对透镜的材料的合理配置,在校正像差和解决温漂问题的同时可以实现超薄化,且生产成本较低。
针对上述第八较佳实施例,其中所述转折件26B位于所述第一透镜组21A的物侧方,用于改变光学系统20的入射光的入射方向,以实现所述光学系统20B的潜望式结构,使得成像模组能够横向安装在电子设备上,尽量占用终端设备宽度方向的尺寸,而减少占用终端设备厚度方向的尺寸,满足用户对终端设备的轻薄需求。所述转折件26B实施为棱镜时,具有入射面s13、反射面s14和出射面s15,反射面s14倾斜连接入射面s13和出射面s15。
光学系统20还可包括滤光片(图中未示出),滤光片设于光谱芯片10与第三透镜组21C之间,当光学系统20在短焦与长焦的切换过程中及自动对焦的过程中,滤光片保持不变。滤光片可采用IR通过滤光片或IR截止滤光片等,可根据实际用途使用设置不同波段的滤光片。
光学系统20还可包括光阑STO23,光阑STO23可被设于第一透镜组21A。具体地,光阑STO23可设于第一透镜朝向棱镜的出射面s15的一侧。在光学系统20在短焦与长焦的切换过程中及自动对焦的过程中,光阑STO23可与第一透镜组一起在光轴o上保持固定。沿光学系统20的光轴o由物侧到像侧,棱镜(可去除)、第一透镜组(与光阑STO23一起)、第二透镜组、第三透镜组、滤光片(可去除)和光谱芯片依次排列。
具体地,光学系统20满足条件式:f2/f1=-0.977,f3/f1=1.113,f4/f1=1.004,f5/f1=-5.373,f6/f1=-0.711。在光学系统20处于短焦状态时,光学系统20的焦距f=30mm,CRA为2.38°,FOV为13.3°,像高为7mm;光学系统20处于长焦状态时,光学系统20的焦距f=90mm,CRA为5.45°,FOV为4.45°,像高为7mm。
本发明所述第一透镜组21A的所述第一透镜211A和所述第二透镜212A相胶合,所述第二透镜组21B的所述第三透镜211B和所述第四透镜212B相胶合,所述第三透镜组21C的所述第五透镜211C和所述第六透镜212C胶合。如图19示出了本发明上述较佳实施例的所述光学系统20的各所述镜片的具体参数的一个示例,其一方面可以消除球差和色差,一定程度也可降低设计难度。
如图20示出了本发明上述较佳实施例的所述光学系统20优化的场曲和畸变的示意图。所述光学系统在场曲全视场控制在±0.1mm以内,优化了场曲,提高了成像质量。所述光学系统光学畸变控制在±0.2%,控制了所述光谱芯片获取的影像的变形,从而提高了成像质量。
实施例十一
如图21所示,本发明进一步地阐释了一种带有上述任一较佳实施例的所述光谱装置的一终端设备。所述终端设备包括一终端设备主机100和被设置于所述终端设备主机100的至少一光谱装置200,其中所述终端设备可以但不限于可穿戴式设备、手机、平板等。值得一提的是,所述光谱装置200可以被实施为上述任一较佳实施例的所述光谱装置,其中所述光谱装置200的所述光学系统20可以被调整其焦距,以通过变焦的方式调整所述光谱装置200的所述光谱芯片10的所述透射谱矩阵A。
以所述光谱装置被集成于终端设备为例,结合上述任一较佳实施例的所述光谱装置, 所述终端设备进一步包括一选择模块300,其中所述选择模块300可被内置于所述终端设备主机100,并且所述选择模块300可供使用者选择待测场景或待测物体,根据使用者的选择,终端设备的所述终端设备主机100会发送指令,该指令会使得所述光谱装置200的所述光学系统20中至少一镜片发生变动,从而使得所述光学系统20(变焦镜头)焦距发生变化,进而使得入射光到达所述光谱装置200的所述光谱芯片10的主光角和/或收光光锥角发生变化。基于初始标定时确定的焦距和对应的透射谱矩阵A的关系,根据使用者的选择,选择对应的焦距,使得此时所述光谱装置20的透射谱矩阵A跟待测物体更适配。简言之,在本发明的该优选实施例中,用户可通过所述终端设备手动地调整所述光谱装置,即根据用户的选择,选择对应的焦距,从而使得所述光谱装置的透射谱矩阵A跟待测物体更适配。
实施例十二
如图22所示,本发明进一步地阐释了一种带有上述任一较佳实施例的所述光谱装置的一终端设备。所述终端设备包括一终端设备主机100和被设置于所述终端设备主机100的至少一光谱装置200,其中所述终端设备可以但不限于可穿戴式设备、手机、平板等。值得一提的是,所述光谱装置200可以被实施为上述任一较佳实施例的所述光谱装置,其中所述光谱装置200的所述光学系统20可以被调整其焦距,以通过变焦的方式调整所述光谱装置200的所述光谱芯片10的所述透射谱矩阵A。
与上述第十较佳实施例不同的是,所述终端设备进一步一成像模组400,所述成像模组400用以成像,其中所述光谱装置200和所述成像模组400分别与所述终端设备的所述终端设备主机100电连接,所述成像装置用以拍摄待测物体,获取待测物体图像信息。所述终端装置进一步包括一判断模块500,所述判断模块500识别并判断所述待测物体的光谱特性,再进一步根据待测物体的光谱特性,所述终端设备发送指令驱动所述光学系统的焦距发生变动,进一步使的主光角发生变动,从而使得对应的透射谱矩阵A发生变动。由于在标定时,已经将对应的待测物体的光谱特性、对应的焦距、及对应的透射谱矩阵A烧录于所述光谱芯片10的存储器。因此本实施例中,焦距变动会使得透射谱矩阵A更加适配于所述待测物体的光谱特性,即在特定光谱特性的波段下,所述透射谱矩阵A的相关系数更低。因此,本实施例可以实现自动检测、判断待测物体,并根据待测物体选择对应的焦距,从而实现对应特定的透射谱矩阵A对待测物体进行识别或检测。
实施例十三
如图23所示,本发明进一步地阐释了一种带有上述任一较佳实施例的所述光谱装置的一终端设备。所述终端设备包括一终端设备主机100和被设置于所述终端设备主机100的至少一光谱装置200,其中所述终端设备可以但不限于可穿戴式设备、手机、平板等。值得一提的是,所述光谱装置200可以被实施为上述任一较佳实施例的所述光谱装置,其中所述光谱装置200的所述光学系统20可以被调整其焦距,以通过变焦的方式调整所述光谱装置200的所述光谱芯片10的所述透射谱矩阵A。
值得一提的是,与上述第十一较佳实施例不同的是,所述终端设备不需要成像模组,能够自动地由所述终端设备主机100驱动所述光谱装置200变焦。详细地说,在本发明的该优选实施例中,所述光谱装置200为上述第二较佳实施例的所述光谱装置,即所述光谱装置200是基于实施例二分区域的光谱芯片进行组装获得所述光谱装置。
具体地,所述光谱装置200的所述光谱芯片10的所述光调制层120具有非调制区域和调制区域,通过获取来自待测物体的目标光束照射后光谱芯片的光调制层中的调制区域的每个结构单元对应的像素点的频谱信息,确定出待测物体的光谱信息;和根据目标光束照射后光调制层中每个非调制区域对应的像素点的光强信息,确定出待成像对象的图像信息。所述终端设备进一步包括一判断模块500,根据获得图像信息,所述终端设备的所述判断模块500识别并判断所述待测物体的光谱特性,再进一步根据待测物体的光谱特性,所述终端设备的所述终端设备主机100发送指令驱动所述光学系统20的至少一透镜移动或变形,使得所述光学系统20的焦距发生变动,进一步使的主光角发生变动,从而使得对应的透射谱矩阵A发生变动。
对于本实施例中,所述光谱芯片10为通过对被摄对象进行精确地光谱分析,以获得所需要的信息,进行基于所获得的信息进行定量或者定性分析。也就是,在这些应用场景中,被摄目标的图像信息仅作为辅助信息(例如,对一些突发状况进行监督)甚至是作为无用信息。相应地,在这些应用场景中,优选地,所述光谱芯片10的所述结构单元121整体面积占所述光谱芯片10的有效区域面积的范围大于等于60%。更优选地,在80%~95%之间。
值得一提的是,由于在不同场景或不同待测物体所需的透射谱矩阵A需求不同,但是又需要对应的透射谱矩阵A适配于待测物体或不同场景,因此需要设置对应的光调制层120,具体的需要设置位于光调制层120的每个结构单元121。依照本发明的另一方面,本发明进一步提供一结构单元的设计方法,进一步提供一种结构单元121设计方法,使得对应的光调制层120更加符合需求,即可以使得不同的透射谱矩阵A可以跟 待测物体或不同场景的光谱特性的更加适配,从而提高精度。
作为示例的,所述光谱装置的所述光学系统可以但不限于一变焦镜头,例如所述变焦镜头有三个焦距,并且通过标定获得三个焦距对应的透射谱矩阵A
1,A
2,A
3,对同一入射光进入变焦镜头,先取第一焦距,通过对应的透射谱矩阵A
1获得光强b
1,再改变焦距为第二焦距,保持入射光不变,获取透射谱矩阵A
2获得光强b
2,进一步改变焦距为第三焦距,保持入射光不变,获取透射谱矩阵A
3获得光强b
3,再对三组向量光强b
1,b
2,b
3进行处理获取向量光强b,通过光强b恢复出光谱曲线,可以提升光谱恢复精度。亦可以,分别进行恢复光谱曲线,在进行整合出一条最终的光谱曲线。即通过不同焦距有不同的透射谱矩阵,可以获取不同焦距下的光谱信息(或对应的光强),对光谱信息(或光强)处理后进行光谱恢复,例如简单的理解为取均值处理等,从而提升光谱恢复的精度。
本实施例提供了一种基于深度神经网络的结构单元121逆设计方法,包括如下步骤:
步骤101,根据待进行逆设计的结构单元121,获取结构单元121初始数据。
在本发明中,根据待进行逆设计的结构单元121,首先,生成一个结构和该结构单元121较为接近的多边形结构单元121,然后根据这个多边形结构单元121,生成一组初始参数,即结构单元121初始数据。本申请可根据任意随机多边形的结构单元121,实现光学参数的预测,从而根据每次预测得到的光学参数,对前一次的多边形结构单元121进行优化,使得最终得到的多边形结构单元121的结构数据满足目标光学参数。
步骤102,将所述结构单元121初始数据输入到训练好的光学参数预测模型中,得到光学预测参数,所述训练好的光学参数预测模型是由标记有光学属性参数的样本微纳数据,对深度神经网络进行训练得到的,所述样本微纳数据包括样本结构单元121数据和样本微纳光学特性数据。
步骤103,基于评价函数和光学目标参数,对所述光学预测参数进行评价,若评价结果未满足预设条件,则通过优化算法和所述评价结果,对所述结构单元121初始数据进行优化处理,得到结构单元121优化数据,并将所述结构单元121优化数据输入到训练好的光学参数预测模型中,再次执行步骤102至步骤103,直到当前迭代得到的光学预测参数的评价结果满足预设条件,则根据当前迭代中光学预测参数对应的结构单元121优化数据进行结构单元121逆设计。
在本实施例中,基于深度神经网络训练得到的光学参数预测模型,根据结构单元121初始参数,预测出对应的器件电磁响应(如透射谱和Q值等);然后,通过评价函数和 光学目标参数,计算出器件电磁响应的评价值(Figure of merit)。在本实施例中,根据实际设计目标,评价函数可以任取,设计目标包括但不限于:预设频点的谐振、增大谐振Q值、预设通光谱形状、预设电场振幅大小和预设相位响应等;再通过优化算法,根据得到的评价值,对结构单元121初始参数,从而生成一组优化后的参数,继续神经网络的预测、预测结果评价以及参数优化更新的过程,最终得到接近全局最优值对应的结构单元121参数,以根据该结构单元121参数实现逆设计。
本实施例提供的基于深度神经网络的结构单元121逆设计方法,利用深度神经网络,对结构参数对应的电磁响应进行预测,即训练神经网络去预测结构单元121的电磁特性,并根据预设的光学目标参数,通过迭代优化得到符合目标的最优结构参数。由于计算原理是基于预测,相比采用仿真软件直接计算电磁响应,电磁响应的计算时间大幅度缩减(速度能提升105倍),使得可以利用优化算法进行迭代优化。最终实现的设计结果相较正向设计,不仅能得到趋于全局最优的参数,设计时间也大幅度缩短,并节省大量人力资源。
在上述实施例的基础上,所述训练好的光学参数预测模型通过以下步骤训练得到:
根据光学属性参数,对每个样本微纳数据标记对应的标签,并根据标记标签后的样本微纳数据和对应的样本光学参数,构建训练样本集,所述样本微纳数据包括样本结构单元121数据和样本微纳光学特性数据;
将所述训练样本集输入到深度神经网络中进行训练,得到训练好的光学参数预测模型。
在本发明中,深度神经网络的隐藏层数在3-20层左右,输入层的数据维度,根据实际的结构复杂度的变化有所不同,大致在3~10000维左右,输出参数,即深度神经网络预测得到的光学预测参数可包括但不限于谐振波长、谐振Q值、通光谱、振幅和相位响应等,输出参数的维度大致在1~1000维左右。在本发明中,深度神经网络的训练样本和测试样本,可通过FDTD、FEM或Rsoft等商业软件计算得到;也可以通过编程,使用傅里叶模态法(又名严格耦合模分析法)计算得到。
参照本发明说明书附图之图24所示,依照本发明另一方面的一光谱装置的工作方法在接下来的描述中被阐明。所述光谱装置的工作方法包括如下步骤:
(a)基于一控制指令以调整一光学系统20焦距的方式调制入射光,以调整所述入射光到达一光谱芯片10的主光角和/或收光光锥角;和
(b)为所述光谱芯片10匹配一透射谱矩阵A,并基于所述透射谱矩阵A获取所述 入射光的光谱信息。
根据本发明上述光谱装置的工作方法,其中所述光谱装置的所述光学系统20包括至少一透镜组件21和至少一移动机构22,通过所述移动机构驱动所述至少一透镜组件21移动,以改变所述光学系统20的有效焦距。
所述透镜组件21进一步包括一第一透镜组21a、一第二透镜组21b以及一第三透镜组21c,其中所述第一透镜组21a、所述第二透镜组21b以及所述第三透镜组21c沿同一光轴方向设置,其中所述光学系统20的所述第二透镜组21b与所述移动机构22相传动地连接,通过所述移动机构22驱动所述第二透镜组21b移动,通过改变所述光学系统20的焦距,使得所述入射光到达所述滤光结构12表面的主光角和/或光锥角发生变化。
根据本发明的另一方面,在本发明的其他可选实施方式中,所述光学系统20A包括至少一液体镜头组件25A和至少一透镜组件21A,所述液体镜头组件25A和所述透镜组件21A沿同一光轴方向前后设置,所述液体镜头组件25A可以改变其自身的曲率,进而改变所述光学系统20A的焦距。
所述液体镜头组件25A可以包括至少一可变形透镜体251A、一可弯曲透明盖部件252A以及一致动器253A,其中所述可弯曲透明盖部件252A附着于所述至少一可变形透镜体251A的表面从而为所述至少一可变形透镜体251A提供机械稳定性。所述致动器253A被用来将所述可弯曲透明盖部件252A塑造成所需形状,所述致动器253A位于所述可弯曲透明盖部件252A的上表面,所述所需形状由所述致动器253A的配置图案以及施加于致动器253A的所述配置图案的各自的电压幅值限定。通过所述致动器253A对所述可变形透镜体251A做功,使得所述可变形透镜体251A变形,从而使得所述光学系统20A发生变焦。
根据本发明的另一方面,在本发明的其他可选实施方式中,所述光学系统20B包括至少一透镜组件21B、至少一移动机构22B以及至少一转折件26B,其中所述转折件26B被设置于所述至少一透镜组件的光轴方向的前端,所述移动机构22B与所述至少一透镜组件21B相连,由所述移动机构22B驱动所述至少一透镜组件21B,以调整所述光学系统20B的焦距。
所述透镜组件21B进一步包括一第一透镜组21a、一第二透镜组21b以及一第三透镜组21c,其中所述第一透镜组21a、所述第二透镜组21b以及所述第三透镜组21c沿同一光轴方向设置,其中所述透镜组件21B的所述第二透镜组21b与所述移动机构22B 相连,由所述移动机构22B驱动所述第二透镜组21b移动,以调整所述光学系统20B的焦距。
所述第二透镜组21b包括至少一变焦镜片211b和至少一补偿镜片212b,其中所述第二透镜组21b的所述至少一变焦镜片211b和所述至少一补偿镜片212b被可传动地连接于所述移动机构22B相连,由所述移动机构22B驱动所述变焦镜片211b和所述至少一补偿镜片212b移动,以调整所述光学系统20B的焦距。
根据本发明的另一方面,在本发明的其他可选实施方式中,通过驱动所述光谱芯片10,改变所述光谱芯片10和所述光学系统20的距离,以调整所述光学系统20的焦距。
进一步地,在本发明所述光谱装置的工作方法中,进一步包括步骤:
预设多个透射谱矩阵A,匹配各所述透射谱矩阵A对应于所述光学系统20的形态(焦距)。值得一提的是,所述透射谱矩阵A和所述光学系统20之间的匹配信息被烧录至所述光谱装置的所述光谱芯片10,当所述光学系统20的较佳变化时,由所述光谱装置的所述光谱芯片10适应性地匹配对应的所述透射谱矩阵A。
进一步地,在本发明所述光谱装置的工作方法中,所述光谱装置被集成于一终端设备,由所述终端设备的一终端设备主机发送所述控制指令至光谱装置,以调整光谱装置的所述光学系统20的焦距。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
Claims (32)
- 一光谱装置,包括:一光谱芯片;所述光谱芯片设有多个透射谱矩阵;和一光学系统,其中所述光学系统位于所述光谱芯片的光学路径;其中所述光学系统具有可变焦距,并且所述光学系统的所述可变焦距与所述光谱芯片的所述多个透射谱矩阵相对应,通过调整所述光学系统的焦距,为所述光谱芯片配置特定的透射谱矩阵,再基于所述光谱芯片对应的特定透射谱矩阵获得所述入射光对应的光谱信息。
- 根据权利要求1所述的光谱装置,其中所述光学系统包括至少一透镜组件和至少一移动机构,其中所述至少一透镜组件与所述至少一移动机构相传动地连接,由所述至少一移动机构驱动所述至少一透镜组件移动,以调整所述光学系统的焦距。
- 根据权利要求2所述的光谱装置,其中所述光学系统进一步包括至少一转折件,其中所述转折件被设置于所述至少一透镜组件的光轴方向,由所述转折件偏转入射或出射所述至少一透镜组件的光的传输方向。
- 根据权利要求3所述的光谱装置,其中所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,所述第二透镜组位于所述第一透镜组和所述第三透镜组之间,其中所述第二透镜组与所述移动机构相连,由所述移动机构驱动所述第二透镜组移动。
- 根据权利要求4所述的光谱装置,其中所述第二透镜组进一步包括至少一变焦镜片和至少一补偿镜片,所述至少一变焦镜片和所述至少一补偿镜片被可传动地连接于所述移动机构,通过所述变焦镜片和所述补偿镜片的移动实现变焦。
- 根据权利要求4所述的光谱装置,其中所述转折件进一步包括一第一转折件和一第二转折件,所述第一转折件位于所述第一透镜组的前端,所述第二转折件位于所述第二透镜组和所述第三透镜组之间。
- 根据权利要求1所述的光谱装置,其中所述光学系统包括至少一液体镜头组件和至少一透镜组件,所述液体镜头组件和所述透镜组件沿同一光轴方向前后设置,所述液体镜头组件可以改变其自身的曲率。
- 根据权利要求7所述的光谱装置,其中所述液体镜头组件可以包括至少一可变形透镜体、一可弯曲透明盖部件以及一致动器,其中所述可弯曲透明盖部件附着于所述至少一可变形透镜体的表面,所述致动器位于所述可弯曲透明盖部件的上表面,通 过所述致动器驱动所述可弯曲透明盖部件移动,以改变所述可变形透镜体的形状。
- 根据权利要求2至8任一所述的光谱装置,进一步包括一对焦机构,其中所述对焦机构与所述至少一透镜组件相连,通过所述对焦机构驱动所述至少一透镜组件实现对焦。
- 根据权利要求3至6任一所述的光谱装置,进一步包括至少一防抖机构,其中所述防抖机构与所述光学系统的所述至少一透镜组件相连,通过所述防抖机构驱动所述光学系统的移动补偿所述光谱装置在使用过程中产生的抖动。
- 根据权利要求10所述的光谱装置,其中所述防抖机构进一步包括一第一防抖机构组件和一第二防抖机构组件,其中所述第一防抖机构组件与所述转折件相连接,通过所述第一防抖机构组件实现所述转折件转动实现对滚动、俯仰和偏摆的补偿,其中所述第二防抖机构组件与所述光学系统的所述透镜组件相连接,通过所述第二防抖机构组件驱动所述透镜组件水平移动。
- 根据权利要求1所述的光谱装置,进一步包括至少一数据处理单元,其中所述光谱芯片与所述至少一数据处理单元相电连接,由所述数据处理单元基于所述光谱芯片对应的特定透射谱矩阵和入射光获得所述入射光对应的光谱信息。
- 根据权利要求1至12任一所述的光谱装置,进一步包括一线路板和至少一散热件,所述光谱芯片被电连接于所述线路板,所述散热件可被贴附于线路板或贴附于光谱芯片。
- 根据权利要求13所述的光谱装置,进一步包括一支架,所述支架被设置于所述线路板,所述光学系统被设置于所述支架,所述支架具有一通光孔,所述通光孔与所述光谱芯片的感光区相对应。
- 根据权利要求1至14任一所述的光谱装置,其中所述光谱芯片记录各所述透射谱矩阵对应的所述光学系统变焦位置。
- 根据权利要求4至6任一所述的光谱装置,其中所述第一透镜组包括一第一透镜和一第二透镜,所述第二透镜组包括所述第三透镜和所述第四透镜,所述第三透镜组包括所述第五透镜和所述第六透镜,沿所述光学系统的光轴由物侧到像侧,所述第一透镜、所述第二透镜、所述第三透镜、所述第四透镜、所述第五透镜和所述第六透镜依次排列,并且所述光学系统满足以下关系式:-3<f2/f1<0;0<f3/f1<4;0<f4/f1<4;-7<f5/f1<-2;-3<f6/f1<0。f1为所述第一透镜的焦距,f2为所述第二透镜的焦距,f3为所述第三透镜的焦距,f4为所述第四透镜的焦距,f5为所述第五透镜的焦距, f6为所述第六透镜的焦距。
- 根据权利要求1至16任一所述的光谱装置,其中所述光谱芯片进一步包括一图像传感器和被设置于所述图像传感器感光侧的至少一滤光结构,其中所述滤光结构位于所述图像传感器的上方,所述滤光结构为频域或者波长域上的宽带滤光结构。
- 根据权利要求17所述的光谱装置,其中所述光谱芯片的所述滤光结构选自由超表面、光子晶体、纳米柱、多层膜、染料、量子点、MEMS、FP etalon、cavity layer、waveguide layer以及衍射元件组成的组合。
- 根据权利要求17所述的光谱装置,其中所述数据处理单元选自由MCU、CPU、GPU、FPGA、NPU以及ASIC组成的处理单元组合。
- 一终端设备,包括:一终端设备主机;和如权利要求1至19任一所述的光谱装置,其中所述光谱装置与所述终端设备主机电连接,由所述终端设备主机发送控制指令至所述光谱装置,以调整所述光谱装置的焦距。
- 根据权利要求20所述的终端设备,进一步包括一选择模块,其中所述选择模块可供选择待测物,并生成所述控制指令。
- 根据权利要求20所述的终端设备,进一步包括一判断模块,其中所述判断模块识别并判断所述待测物体的光谱特性,再进一步根据待测物体的光谱特性,生成所述控制指令。
- 根据权利要求21所述的终端设备,进一步包括一成像模组,其中所述成像模组与所述终端设备主机相电气连接,借以所述成像模组获取所述待测物的图像信息,以分析所述待测物的光谱特性。
- 光谱装置的工作方法,包括:(a)基于一控制指令以调整一光学系统焦距,以调整所述入射光到达一光谱芯片的主光角和/或收光光锥角;和(b)为所述光谱芯片匹配一透射谱矩阵,并基于所述透射谱矩阵计算出所述入射光的光谱信息。
- 根据权利要求24所述的光谱装置的工作方法,其中所述光谱装置的所述光学系统包括至少一透镜组件和至少一移动机构,通过所述移动机构驱动所述至少一透镜组件移动,以改变所述光学系统的有效焦距。
- 根据权利要求25所述的光谱装置的工作方法,其中所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,其中所述光学系统的所述第二透镜组与所述移动机构相传动地连接,通过所述移动机构驱动所述第二透镜组移动,通过改变所述光学系统的焦距,使得所述入射光到达所述滤光结构表面的主光角和/或光锥角发生变化。
- 根据权利要求24所述的光谱装置的工作方法,其中所述光学系统包括至少一液体镜头组件和至少一透镜组件,所述液体镜头组件和所述透镜组件沿同一光轴方向前后设置,所述液体镜头组件可以改变其自身的曲率,进而改变所述光学系统的焦距。
- 根据权利要求27所述的光谱装置的工作方法,其中所述液体镜头组件可以包括至少一可变形透镜体、一可弯曲透明盖部件以及一致动器,其中所述可弯曲透明盖部件附着于所述至少一可变形透镜体的表面,所述致动器位于所述可弯曲透明盖部件的上表面,通过所述致动器对所述可变形透镜体做功,使得所述可变形透镜体变形,从而使得所述光学系统发生变焦。
- 根据权利要求24所述的光谱装置的工作方法,其中所述光学系统包括至少一透镜组件、至少一移动机构以及至少一转折件,其中所述转折件被设置于所述至少一透镜组件的光轴方向的前端,所述移动机构与所述至少一透镜组件相连,由所述移动机构驱动所述至少一透镜组件,以调整所述光学系统的焦距。
- 根据权利要求29所述的光谱装置的工作方法,其中所述透镜组件进一步包括一第一透镜组、一第二透镜组以及一第三透镜组,其中所述第一透镜组、所述第二透镜组以及所述第三透镜组沿同一光轴方向设置,其中所述透镜组件的所述第二透镜组与所述移动机构相连,由所述移动机构驱动所述第二透镜组移动,以调整所述光学系统的焦距。
- 根据权利要求30所述的光谱装置的工作方法,其中所述第二透镜组包括至少一变焦镜片和至少一补偿镜片,其中所述第二透镜组的所述至少一变焦镜片和所述至少一补偿镜片被可传动地连接于所述移动机构相连,由所述移动机构驱动所述变焦镜片和所述至少一补偿镜片移动,以调整所述光学系统的焦距。
- 根据权利要求24所述的光谱装置的工作方法,进一步包括步骤:预设多个透射谱矩阵,并匹配各所述透射谱矩阵对应于所述光学系统的形态。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021115948153 | 2021-12-23 | ||
CN202111594815.3A CN116337778A (zh) | 2021-12-23 | 2021-12-23 | 光谱装置和带有光谱装置的终端设备以及工作方法 |
PCT/CN2022/137431 WO2023116444A1 (zh) | 2021-12-23 | 2022-12-08 | 光谱装置和带有光谱装置的终端设备以及工作方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118401811A true CN118401811A (zh) | 2024-07-26 |
Family
ID=86890144
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111594815.3A Pending CN116337778A (zh) | 2021-12-23 | 2021-12-23 | 光谱装置和带有光谱装置的终端设备以及工作方法 |
CN202280083071.5A Pending CN118401811A (zh) | 2021-12-23 | 2022-12-08 | 光谱装置和带有光谱装置的终端设备以及工作方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111594815.3A Pending CN116337778A (zh) | 2021-12-23 | 2021-12-23 | 光谱装置和带有光谱装置的终端设备以及工作方法 |
Country Status (2)
Country | Link |
---|---|
CN (2) | CN116337778A (zh) |
WO (1) | WO2023116444A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240037762A (ko) * | 2022-09-15 | 2024-03-22 | 삼성전자주식회사 | 분광 카메라 및 이를 포함하는 전자 장치 |
CN118129909B (zh) * | 2024-05-08 | 2024-08-06 | 中国科学院长春光学精密机械与物理研究所 | 阵列化集成芯片式偏振成像光谱仪及偏振图谱重建方法 |
CN118129907B (zh) * | 2024-05-08 | 2024-09-20 | 中国科学院长春光学精密机械与物理研究所 | 中长波红外光谱调制快照成像光谱仪及图谱重建方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE249033T1 (de) * | 1997-07-01 | 2003-09-15 | Optomed Optomedical Systems Gmbh | Bildgebendes spektrometer |
CN103017901B (zh) * | 2012-11-21 | 2014-07-30 | 南京邮电大学 | 一种基于变焦透镜的光谱测量方法及微型光谱仪 |
CN109029726B (zh) * | 2018-05-25 | 2021-02-02 | 西北工业大学 | 一种窗口集成式光谱/偏振成像系统 |
US10962822B2 (en) * | 2018-06-06 | 2021-03-30 | Viavi Solutions Inc. | Liquid-crystal selectable bandpass filter |
US10859436B2 (en) * | 2019-02-19 | 2020-12-08 | Renesas Electronics America Inc. | Spectrometer on a chip |
CN112097904A (zh) * | 2020-08-20 | 2020-12-18 | 中国科学院西安光学精密机械研究所 | 基于衍射透镜/变焦透镜阵列的光谱成像系统及方法 |
-
2021
- 2021-12-23 CN CN202111594815.3A patent/CN116337778A/zh active Pending
-
2022
- 2022-12-08 CN CN202280083071.5A patent/CN118401811A/zh active Pending
- 2022-12-08 WO PCT/CN2022/137431 patent/WO2023116444A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN116337778A (zh) | 2023-06-27 |
WO2023116444A1 (zh) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN118401811A (zh) | 光谱装置和带有光谱装置的终端设备以及工作方法 | |
JP7328232B2 (ja) | フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法 | |
CN103424865B (zh) | 光模块、电子设备、食物分析装置以及分光照相机 | |
EP3007432B1 (en) | Image acquisition device and image acquisition method | |
JP5172204B2 (ja) | 光学特性測定装置およびフォーカス調整方法 | |
US20080088731A1 (en) | Lens Array and Image Sensor Including Lens Array | |
EP2984514A2 (en) | Infrared refractive objective lens assembly | |
US12052518B2 (en) | Multi-modal computational imaging via metasurfaces | |
JP2005091003A (ja) | 2次元分光装置及び膜厚測定装置 | |
US7292337B2 (en) | Optical processor using detecting assembly and method using same | |
DE19816428A1 (de) | Erfassungsvorrichtung für Daten einer unebenen Oberfläche | |
US20230177655A1 (en) | System and method for digital optical aberration correction and spectral imaging | |
CN102778202B (zh) | 一种膜厚测量装置及方法 | |
TW202034011A (zh) | 光學系統及包括該光學系統之攝影機模組 | |
US6222631B1 (en) | Two-dimensional spectral characteristic measuring apparatus | |
CN113834568A (zh) | 光谱测量装置和方法 | |
CN211122509U (zh) | 光谱仪结构及电子设备 | |
CN111936907B (zh) | 一种光学镜头和光学设备 | |
WO2020122038A1 (ja) | 固体撮像素子、固体撮像素子の製造方法、及び電子機器 | |
KR20230152671A (ko) | 고품질의 얇은 렌즈 이미징을 위한 신경 나노 광학 | |
Batshev et al. | Multispectral video camera optical system | |
CN116359125A (zh) | 光谱分析装置和终端设备以及成像方法 | |
Somarapalli et al. | Realization of low-cost multichannel surface plasmon resonance based optical transducer | |
JP2014206494A (ja) | 撮像装置及び撮像システム | |
CN210953797U (zh) | 基于多波段滤光的分析装置及其应用的美容仪和化妆镜 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |