CN113418864B - 一种多光谱图像传感器及其制造方法 - Google Patents
一种多光谱图像传感器及其制造方法 Download PDFInfo
- Publication number
- CN113418864B CN113418864B CN202110620663.3A CN202110620663A CN113418864B CN 113418864 B CN113418864 B CN 113418864B CN 202110620663 A CN202110620663 A CN 202110620663A CN 113418864 B CN113418864 B CN 113418864B
- Authority
- CN
- China
- Prior art keywords
- image sensor
- multispectral image
- filter
- filters
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 100
- 230000003287 optical effect Effects 0.000 claims abstract description 241
- 238000001228 spectrum Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 238000011049 filling Methods 0.000 claims description 67
- 229920002120 photoresistant polymer Polymers 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 63
- 239000000758 substrate Substances 0.000 claims description 61
- 238000005070 sampling Methods 0.000 claims description 51
- 238000002834 transmittance Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000003292 glue Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 84
- 239000013598 vector Substances 0.000 description 31
- 238000010586 diagram Methods 0.000 description 29
- 230000003595 spectral effect Effects 0.000 description 27
- 230000008569 process Effects 0.000 description 22
- 239000010410 layer Substances 0.000 description 21
- 239000000049 pigment Substances 0.000 description 21
- 238000011084 recovery Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 13
- 238000002310 reflectometry Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 238000000701 chemical imaging Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 7
- 238000000576 coating method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000011347 resin Substances 0.000 description 7
- 229920005989 resin Polymers 0.000 description 7
- 239000000243 solution Substances 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 238000001723 curing Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 239000002994 raw material Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000002585 base Substances 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000012452 mother liquor Substances 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004132 cross linking Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000002270 dispersing agent Substances 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000003960 organic solvent Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004528 spin coating Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 239000012670 alkaline solution Substances 0.000 description 1
- 239000002518 antifoaming agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000006259 organic additive Substances 0.000 description 1
- 239000012860 organic pigment Substances 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000001259 photo etching Methods 0.000 description 1
- 238000000016 photochemical curing Methods 0.000 description 1
- -1 photoinitiator Substances 0.000 description 1
- IEQIEDJGQAUEQZ-UHFFFAOYSA-N phthalocyanine Chemical compound N1C(N=C2C3=CC=CC=C3C(N=C3C4=CC=CC=C4C(=N4)N3)=N2)=C(C=CC=C2)C2=C1N=C1C2=CC=CC=C2C4=N1 IEQIEDJGQAUEQZ-UHFFFAOYSA-N 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
- H01L27/14685—Process for coatings or optical elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Abstract
本发明适用于传感器技术领域，提供了一种多光谱图像传感器及其制造方法，多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；感光芯片，包括多个像素单元；滤光片阵列，包括至少一个滤光单元组；每个滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个滤光单元组内不同预设波长对应的滤光片以目标方式进行排布；微透镜阵列，包括至少一个微透镜单元，微透镜单元用于汇聚入射光线，并使得汇聚后的入射光线经过滤光片阵列聚焦于感光芯片上。本发明的多光谱图像传感器包含有多个对应不完全相同的预设波长的滤光片，以实现在成像时同时采集不同光谱的目的，以提高成像精度、效率以及准确性。
Description
技术领域
本发明属于传感器技术领域，尤其涉及一种多光谱图像传感器的制造方法及设备。
背景技术
光谱成像是现有主要的成像技术之一，由于基于光谱成像的数据不仅包含有图像信息，还包含有光谱信息，光谱信息能够体现拍摄图像时每个像素点在各个波段的光谱强度，利用光谱信息可以对图像中的拍摄对象进行定性甚至定量分析，能够应用于多种不同需求的场合。
现有的多光谱图像传感器的技术，一般是基于切换滤光片方式的多光谱图像传感器，在需要获取多光谱图像时，通过切换感光芯片上对应不同预设波长的滤光片，从而采集得到多光谱图像，然而基于上述方式生成的多光谱图像传感器，在获取多光谱图像时，由于不同光谱是分时采集的，因此实时性较低，不同光谱并非同时采集，从而会影响成像的精度以及效率。
发明内容
有鉴于此，本发明实施例提供了一种多光谱图像传感器的制造方法及设备，以解决现有的多光谱图像传感器的技术，一般是基于切换滤光片方式的多光谱图像传感器，然而基于上述原理的多光谱图像传感器，在获取多光谱图像时，由于不同光谱是分时采集的，因此实时性较低，不同光谱并非同时采集，从而导致了成像的精度以及效率较低的问题。
本发明实施例的第一方面提供了一种多光谱图像传感器，所述多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；
所述感光芯片，包括多个像素单元；
所述滤光片阵列，包括至少一个滤光单元组；每个所述滤光单元组包含多个对应不完全相同预设波长的滤光片；每个所述滤光单元组内的所述滤光片以目标方式进行排布；所述目标方式是所述滤光单元组对应的图像采集指标最优对应的排布方式；
所述微透镜阵列，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。
本发明实施例的第二方面提供了一种多光谱图像传感器的制造方法，包括：
在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂；所述目标颜色为与所述预设波长相匹配的颜色；
在预设的照射时间内开启照射光源，并在所述照射光源与填充了所述光阻剂后的衬底之间设置光掩模板，得到所述预设波长对应的滤光片；
在照射完毕后，返回执行所述在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂的操作，直到所有所述预设波长在所述衬底上均有对应的所述滤光片；
将填充有所有所述预设波长对应的所述滤光片的衬底识别为滤光片阵列，并基于所述滤光片阵列得到多光谱图像传感器；所述滤光片阵列包含至少一个滤光单元组；所述滤光单元组内的滤光片以预设的目标排布方式进行排布；所述目标排布方式是所述滤光单元组对应的图像采集指标最优对应的排布方式。
实施本发明实施例提供的一种多光谱图像传感器及其制造方法具有以下有益效果：
本发明实施例中的多光谱图像传感器，包含至少一个对应不同预设波长的滤光片的滤光单元组，通过该滤光单元组能够获取实时获取多光谱图像数据，且该滤光单元组内各个滤光片是基于目标方式进行排布，从而使得图像采集指标最优，实现在成像时同时采集不同光谱的目的，以提高成像精度、效率以及准确性的同时，还能够提高基于多光谱图像应用识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多光谱图像传感器的结构示意图；
图2是本申请另一实施例提供的感光芯片103的结构示意图；
图3是本申请一实施例提供的像素单元与滤光片之间的结构示意图；
图4是本申请另一实施例提供的像素单元与滤光片之间的结构示意图；
图5是本申请一实施例提供的滤光片阵列的示意图；
图6是本申请一实施例提供的入射光线透过滤光单元组的示意图；
图7是本申请另一实施例提供的多光谱图像传感器的结构示意图；
图8是本申请一实施例提供的成像模块的结构示意图；
图9是本发明另一实施例提供的一种多光谱图像传感器的结构示意图；
图10是本申请一实施例提供的滤光片矩阵以及滤光片阵列的示意图；
图11是本申请一实施例提供的多光谱图像传感器所采用的RGB恢复算法的示意图；
图12是本申请一实施例提供的滤光片阵列中RGB通道的不同滤光片的排布位置的示意图；
图13是本申请一实施例提供的畸变距离的计算示意图；
图14是本申请另一实施例提供的滤光片矩阵内各个滤光片的排布方式；
图15是本申请提供的所有候选方式在上述三种参量的参数表；
图16是本发明第一实施例提供的多光谱图像传感器的制造方法的实现流程图；
图17是本申请一实施例提供的多光谱图像传感器的制造流程示意图；
图18是本发明第一实施例提供的多光谱图像传感器的制造方法的实现流程图；
图19是本发明一实施例提供的一种多光谱图像传感器的制造装置的结构框图；
图20是本发明另一实施例提供的一种终端设备的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
基于光谱成像的数据不仅包含有图像信息，还包含有光谱信息，是一种图谱合一的数据类型，光谱成像得到的数据能够体现拍摄图像时每个像素点在各个波段的光谱强度；利用光谱成像技术可以对物体进行定性和定量分析，以及定位分析等。光谱成像技术按照光谱分辨率的从低到高可分为三类：多光谱成像、高光谱成像和超光谱成像技术。光谱成像技术不仅具有光谱分辨能力，还具有图像分辨能力，可应用于地质矿物、植被生态的识别以及军事目标的侦察等场合。
目前的成像光谱的器件主要可以通过以下几种方案实现，第一种是切换滤光片方法，基于上述方法的多光谱图像传感器内包含有多个滤光片，多个滤光片一般位于被测对象和镜头之间，需要进行图像采集时，会基于预设的切换次序切换到特定的滤光片，单次曝光只能输出特定滤波特性的单张图像，并通过连续切换滤光片进行多次曝光后，从而得到一帧多通道的光谱图像，即多光谱图像；第二种多光谱图像传感器的实现是推扫方法，单次曝光只能输出被测对象一个像素宽度上的(即一列像素点对应的)多光谱信息，为了获得被测对象在空间上完整的二维图像，则需要通过推扫的方式，每次曝光获得多列像素点对应的多光谱信息，最终合成一帧多通道的光谱图像。
然而，无论是基于滤光片切换的方式抑或是基于推扫方式生成的多光谱图像，均存在实时性的问题，例如通过滤光片切换的方式得到的多光谱图像，不同光谱之间采集时刻不一致，即在时域上存在实时偏差；而通过推扫的方式获取的多光谱图像，由于每次获取只能获得一列像素点的多光谱信息，不同列获取的时刻不一致，即在空间域上存在实时性偏差，从而大大影响了多光谱图像的成像精度以及效率。
因此，为了解决现有技术的问题，本发明提供了一种多光谱图像传感器以及该多光谱图像传感器的制造方法，以实现同时获取被测对象整体的多光谱信息，以满足多光谱图像在空间域以及时域上的实时性，提高多光谱图像的成像精度以及小。
实施例一：
图1示出了本发明实施例提供的一种多光谱图像传感器的结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。详述如下：
参见图1所示，在本发明实施例提供的一种多光谱图像传感器，该多光谱图像传感器包括：沿入射光方向依次排列的微透镜阵列101、滤光片阵列102以及感光芯片103；
该感光芯片103，包括多个像素单元；
该滤光片阵列102，包括至少一个滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个所述滤光片用于通过入射光线中所述滤光片对应的所述预设波长的光线；
该微透镜阵列101，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。
在本实施例中，该多光谱图像传感器中包含有感光芯片103，可以将采集到的光学图像信息转换为电信号，从而得到包含多光谱的图像数据并存储。
在一种可能的实现方式中，该感光芯片103可以是互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)传感器芯片，也可以是电荷耦合元件(Charge-coupled Device，CCD)芯片，当然，其他可以将光信号转换为电信号的芯片也可以用于本实施例中的感光芯片103。
进一步地，图2示出了本申请另一实施例提供的感光芯片103的结构示意图。参见图2所示，该实施例中的感光芯片103可以包括光电二极管1031以及信号处理模块1032，也可以称为电路部分，光电二极管1031与信号处理模块1032之间为电连接，一个感光芯片中可以包含多个光电二极管1031，每个像素单元包含至少一个光电二极管1031。其中，光电二极管1031可以基于光电效应，将采集到的光信号转换为电信号，并传输给信号处理模块(即电路部分)，信号处理模块读取光电二极管产生的电信号后，并对电信号进行处理，得到对应的感光结果，在多光谱图像传感器中，上述感光结果也可以称为多光谱图像。当然，电路部分还可以将电信号传输给接入的设备，如将采集到的多光谱图像传输给处理器。可选地，该感光芯片103的布局方式可以采用前照式、背照式或者堆栈式等，而感光芯片103的曝光方式可以采用全局曝光或者滚动曝光等，在此不对曝光方式以及布局方式进行限制。
在本实施例中，感光芯片103包含多个像素单元，每个像素单元可以采集对应的多光谱数据，将多个像素单元对应的多光谱数据合成得到多光谱图像数据。需要说明的是，一个感光芯片103包含的像素单元可以根据其采集的分辨率以及图像尺寸决定，也可以根据使用场景进行对应的调整，在此不对像素单元的个数进行限定。
在一种可能的实现方式中，图3示出了本申请一实施例提供的像素单元与滤光片之间的结构示意图。参见图3所示，每个所述像素单元上覆盖有一个所述滤光片。在该情况下，一个滤光片获取过滤得到的包含光信号会照射到对应的像素单元内，该像素单元用于将上述光信号转换为电信号，并基于所有像素单元的电信号生成多光谱图像。
在一种可能的实现方式中，图4示出了本申请另一实施例提供的像素单元与滤光片之间的结构示意图。参见图4所示，每个所述滤光片覆盖于多个所述像素单元上。在该情况下，一个滤光片覆盖于多个像素单元上，从而每个像素单元可以用于记录同一滤光片的光谱信号，并转换为对应的电信号，上述结构在透光率较低的场景下也能够提高采集的精确性，虽然降低一定程度的图像分辨率，但提高了每个光信号的采集精度。
在本实施例中，多光谱图像传感器包括有微透镜阵列101，该微透镜阵列内包含有至少一个微透镜单元，当然，也可以包含两个或两个以上的微透镜单元，具体微透镜单元的数量可以根据实际场景或传感器需要进行相应配置，在此不对微透镜单元的个数进行限定。该微透镜阵列具体用于将入射光线进行汇聚，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。其中，上述入射光线可以是由预设光源发射并经过被测对象反射后的光线，也可以是由被测对象自身产生的光线。
在一种可能的实现方式中，微透镜阵列101中每个微透镜单元对应滤光片矩阵中的一个滤光单元组，即微透镜单元与滤光单元组之间是一一对应的关系，每个微透镜单元用于将入射光线汇聚于该滤光单元组对应的区域，并透过滤光单元组将入射光线照射到感光芯片103上。当然，一个微透镜单元还可以对应两个或以上的滤光单元组，具体对应方式可以根据实际情况确定。
在本实施例中，多光谱图像传感器包括有滤光片阵列102，该滤光片阵列102内包含有至少一个滤光单元组，一个滤光单元组内包含有多个滤光片，不同的滤光片可以对应不完全相同的预设波长，即一个滤光单元组内可以存在两个以上对应相同预设波长的滤光片，也存在两个以上对应不同预设波长的滤光片，可以采集不同光谱对应的光信号，由于一个滤光单元组内包含有不同预设波长的滤光片，且不同的滤光片只能够让特定波长的光线通过，即从入射光线中过滤得到预设波长的光线，因此，通过一个滤光单元组可以获取得到的多光谱的光信号，并入射光线经过滤光单元组后，感光芯片可以采集到包含多光谱的光信号，并将光信号转换为对应的电信号，从而生成多光谱图像数据。
在本实施例中，由于多光谱图像传感器的滤光片阵列102中包含有多个对应不同预设波长的滤光片，因此当入射光经过滤光片阵列102照射到感光芯片103后，感光芯片可以在可见光和近红外光范围内(例如波段在300nm～1100nm之间的光线)可以经过滤光片过滤后得到多光谱图像，该多光谱图像的带宽可以在50nm～700nm之间，当然，也可以大于或小于上述的带宽范围。通过本实施例提供的多光谱图像传感器采集得到的多光谱图像或重建后的多光谱图像，可以用于对被拍摄对象的成分进行定性解析，例如进行物质成分识别，或者获得更为精确的环境色温，并基于环境色温对被拍摄对象进行色彩还原，还可以进行更为准确的活体检测以及人脸识别等，即基于多光谱采集的图像数据可以应用于多个不同的使用场景下。
在一种可能的实现方式中，一个滤光单元组可以包含大于或等于4个滤光片，如4个滤光片、9个滤光片或16个滤光片等等，具体根据多光谱图像传感器的通道数量决定，若该滤光单元组内包含9个滤光片，则该滤光单元组具体可以是一个3*3的滤光片矩阵。
在一种可能的实现方式中，同一滤光单元组内的不同滤光片具体是基于预设的排布方式在二维平面上进行排列。当滤光片阵列中包含两个或以上的滤光单元组，由于每个滤光单元组内不同预设波长对应的滤光片均是以相同的排布方式进行排列，因此，对于整个滤光片阵列而言，不同预设波长对应的滤光片会以预设的排列次序在二维平面上周期排列。示例性地，图5示出了本申请一实施例提供的滤光片阵列的示意图。该滤光片阵列包含有四个滤光单元组，每个滤光单元组包含9个滤光片，根据对应的波长不同，分别为滤光片1～9，每个滤光单元组内的滤光片排布方式相同，从而形成了以预设的排列次序周期排列的结构。
在一种可能的实现方式中，该滤光单元组具体为一宽带滤光矩阵。同样地，该宽带滤光矩阵具体包含有对应不同预设波长的多个滤光片。与现有的多光谱图像传感器相比，本申请实施例提供的多光谱图像传感器内的滤光单元组可以视为一个宽带滤光矩阵，即由多个对应不同预设波长的滤光片构成的“宽带滤光片”，即将多个滤光片组合而成的滤光单元组可以视为一个宽带滤光片，因此，该滤光单元组内包含所有滤光片所对应的预设波长所构成的波段，可以在一个较宽的范围内，例如在300nm～1100nm之间，也可以在350nm～1000nm之间，即光谱范围可以针对可见光以及近红外光的波段，其中，上述带宽滤光矩阵的光谱透光率曲线可以与拜耳Bayer滤光片的光谱透光率曲线相似。透过光谱的半高全宽(半高全宽：即峰值高度一半时的透射峰宽度)在50nm-700nm之间，不同的光谱透过特性对应不同的颜色，即白光入射到宽带滤光矩阵内预设波长的滤光片后，只有该对应波长的光线可以透过，其余波段的光线均被阻挡，示例性地，图6示出了本申请一实施例提供的入射光线透过滤光单元组的示意图，参见图6可见，不同滤光片只允许对应波段的光线透过，而其他波段的光线则拦截，而由于一个滤光单元组内包含有多个不同波段的滤光片，因此整个滤光单元组内过滤得到的波段较宽，可以视为一个宽带滤光片，即宽带滤光矩阵。
在一种可能的实现方式中，上述宽带滤光矩阵中包含有可通过近红外波段光线的滤光片，从而可以扩大整个宽带滤光矩阵可通过的光谱范围。在现有的大部分彩色摄像模块中，往往会在彩色摄像模块中(镜头和感光芯片之间)加入过滤掉近红外波段的滤光片(即不允许近红外波段通过)，即IR-cut，将近红外(650nm-1100nm)的光谱全部截止，以便更好的还原颜色。但是为了扩大光谱利用范围，以及获取更多的光谱数据以便适应不同应用场景的需求，本申请提供的多光谱图像传感器将近红外的光谱也利用上(光谱利用的范围越宽，光谱信息越丰富)，所以该多光谱图像传感器可以选择不采用红外截止滤光片，即可以在宽带滤光矩阵中加入允许近红外光透过的滤光片，在保证同样能还原颜色的同时，引入更多的光谱信息。其中，上述允许近红外光通过的滤光片与其它预设波段的滤光片在近红外波段有相近的响应曲线，将除近红外波段外的其他所有预设波段的滤光片采集到的光谱信息，减去黑色滤光片采集到的光谱信息，即可以恢复每种预设波长对应的光谱曲线，此处的只对近红外光响应的滤光片充当IR-cut作用。
进一步地，作为本申请的另一实施例，该多光谱图像传感器还包括基底104，感光芯片103、滤光片阵列102以及微透镜单元101依次排布于基底上，示例性地，图7示出了本申请另一实施例提供的多光谱图像传感器的结构示意图。参见图7所示，该多光谱图像传感器包括基底104，感光芯片103排布于基底104上方，而感官芯片103的上方则为滤光片阵列102，以及微透镜单元101，从而入射光线可以通过微透镜单元101汇聚于滤光片阵列102上，并通过滤光片阵列102对入射光线进行过滤，从而将包含多光谱的光线照射在感光芯片103上，从而采集得到包含多光谱的图像数据。
进一步地，作为本申请的另一实施例，本申请还提供了一种基于上述多光谱图像传感器的成像模块，该成像模块包含上述任一实施例提供的多光谱图像传感器，除了上述多光谱图像传感器外，该成像模块还包括镜头以及电路板。示例性地，图8示出了本申请一实施例提供的成像模块的结构示意图。参见图8所示，该成像模块中包含有多光谱图像传感器81、镜头82以及电路板83，其中，多光谱图像传感器81设于电路板83上，该镜头82设于该多光谱图像传感器81上方并固定于电路板83上，从而使得入射光线可以透过镜头照射于多光谱图像传感器81上。需要说明的是，该成像模块上可以包含有一个多光谱图像传感器81，也可以设置有两个或以上的多光谱图像传感器83。若该成像模块包含多个多光谱图像传感器81，则上述镜头82可以设于多个多光谱图像传感器81的上方，即多个多光谱图像传感器81对应一个镜头82，当然，可以为每一个多光谱图像传感器81配置独立的一个镜头82，具体配置可以根据实际使用场景进行配置，在此不做限定。
在一种可能的实现方式中，该成像模块中的镜头82包括有成像透镜821以及底座822，所述成像透镜821设置于所述底座822上；所述电路板83上设有与所述底座822连接的所述多光谱图像传感器81，即在实际安装后，底座822会覆盖于多光谱图像传感器81上方，即罩住整个多光谱图像传感器81，并设于电路板83上。
在本申请实施例中，多光谱图像传感器包含有滤光片阵列，该滤光片阵列包含有至少一个滤光单元组，且每个滤光单元组内包含有对应不同预设波长的滤光片，从而能够实现同时采集多个不同波段的光信号，生成多光谱图像数据，保证了多光谱图像数据中不同通道采集的实时性，提供了成像精度以及效率。
实施例二：
图9示出了本发明另一实施例提供的一种多光谱图像传感器的结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。详述如下：
多光谱图像传感器包括：沿入射光方向依次排列的微透镜阵列901、滤光片阵列902以及感光芯片903；
所述感光芯片903，包括多个像素单元；
所述滤光片阵列902，包括至少一个滤光单元组；每个所述滤光单元组包含多个对应不完全相同的预设波长的滤光片；每个所述滤光片用于通过入射光线中所述滤光片对应的所述预设波长的光线；每个所述滤光单元组内的所述滤光片以目标方式进行排布；所述目标方式是所述滤光单元组对应的图像采集指标最优对应的排布方式；
所述微透镜阵列901，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上。
在本实施例中，感光芯片903以及微透镜阵列901与实施例一种的感光芯片103以及微透镜阵列101相同，均是用于将光信号转换为电信号，以及用于汇聚光线，具体描述可以参见实施例一的相关描述，在此不再赘述。
在本实施例中，滤光片阵列902与上一实施例中的滤光片阵列102相似，均包含至少一个滤光单元组，且该滤光单元组内包含有对应不同预设波长的滤光片。与实施例一的滤光片阵列102不同的是，本实施例中的滤光片阵列902中的滤光单元组内的滤光片，是以预设的目标方式进行排布，并且以该方式进行排布时，滤光单元组对应的图像采集指标最优。
在一种可能的实现方式中，在确定目标方式之前，可以分别确定各个候选方式对应的图像采集指标，并基于所有候选方式的图像采集指标，确定出最优的图像采集指标，并将最优的图像采集指标对应的候选方式作为上述的目标方式。可选地，该图像采集指标包含有多个指标维度，不同指标维度可以根据使用场景的不用，配置不同的权重值，根据候选方式在各个指标维度对应的指标值以及配置好的权重值进行加权运算，从而可以计算得到该候选方式对应的图像采集指标，若该图像采集指标的数值越大，则表示与使用场景的适配度更高，成像效果越好，识别准确率越高，基于此，可以选取数值最大的图像采集指标对应的候选方式作为上述的目标方式。
在一种可能的实现方式中，该滤光单元组具体包括一m*n的滤光片矩阵，即一个滤光单元组内，各个滤光片以m行n列的方式进行排布，从而形成一个m*n的滤光片矩阵。该滤光片矩阵内的各个滤光片具体可以为正方形的滤光片，还可以是矩形的滤光片。其中，m和n均为大于1的正整数。例如，m可以为2、3或者4等，对应地，n也可以为2、3或4等，m和n之间的数值可以相同，也可以不同，在此不对m和n的具体数值进行限定。
示例性地，根据滤光单元组内包含的滤光片的颜色，滤光单元组(即上述的滤光片矩阵)可以分为以下几个类型，分比为：GRBG滤光片、RGGB滤光片、BGGR滤光片以及GBRG滤光片，其中，G代表可通过绿色的滤光片，R代表可通过红色的滤光片，B代表可通过蓝色的滤光片。
以滤光片矩阵为3*3的滤光片矩阵为例进行说明，示例性地，图10示出了本申请一实施例提供的滤光片矩阵以及滤光片阵列的示意图。参见图10所示，该滤光片矩阵内包含9个滤光片，如图10中的(a)所示，上述9个滤光片可以为对应不同预设波长的滤光片，当然，也可以为少于9种不同预设波长的滤光片，在该情况下，则在一个滤光片矩阵内包含预设波长重复的两个或以上的滤光片，优选地，上述滤光片矩阵内包含至少4种不同的预设波长不同的滤光片。对于一个滤光片矩阵，由于可以包含多个滤光单元组，例如包含a*b个滤光单元组(即滤光片阵列)，则整个滤光片阵列如图10中的(b)所示，则滤光片阵列每列包含m*a个滤光片，而每行包含n*b个滤光片，若每个滤光片关联一个像素单元，则生成的多光谱图像传感器的分辨率为(m*a)*(n*b)。同理地，若滤光片矩阵为一4*4的滤光片矩阵，则该滤光片矩阵内可以包含对应16种不同预设波长的滤光片，还可以少于16种预设波长的滤光片，例如只包含对应8种不同预设波长的滤光片，即每种滤光片需要重复出现两次，且保证均匀的空间分布。
继续以3*3共9种不同预设波长(即通过不同特定颜色)的滤光片矩阵为例进行说明，在确定滤光片矩阵内的各个滤光片的位置时，主要基于以下几个方面进行考量：1)从整个滤光片阵列来看，单个颜色在3*3矩阵中的位置无确定性要求，因此需要考虑的是在一个滤光片矩阵(即滤光单元组)内不同颜色之间的相对位置；2)后续的场景应用对颜色的相对位置是否有特定的要求；3)彩色图像(如RGB图像)的恢复效果与颜色间的相对位置有强烈相关性。因此，若场景应用对于颜色的相对位置没有特定要求的情况下，滤光片阵列中对应不同预设波长的滤光片的空间排布设计主要考虑彩色图像恢复算法(后续成为RGB恢复算法)的需求。
在本实施例中，图11示出了本申请一实施例提供的多光谱图像传感器所采用的RGB恢复算法的示意图，参见图11中的(a)所示，滤光片阵列中的滤光片矩阵为RGGB滤光片矩阵，因此整个滤光片矩阵内包含有两个可通过绿色的滤光片G1和G0、一个可通过红色的滤光片R以及一个可通过蓝色的滤光片B，除此之外，还包括有可通过近红外光的滤光片IR，其他滤光片对应的波长(即可通过的颜色)可以根据实际需求进行选择。其中，进行RGB恢复算法具体可以划分为以下3个步骤：
1)将R、G0、G1、B四个通道的灰度值分别减去IR通道的灰度值，即R＝R-IR，G0＝G0-IR，G1＝G1-IR，B＝B-IR，进行该步骤操作的原因为R、G、B滤光片本身无法完全截止近红外光，即都对近红外光有响应(其透过率曲线如下图11中的(b)所示，其中，纵坐标为幅值，横坐标为波长)，只有消除了近红外光的响应才能够得到无其他颜色干扰的R、G、B信息(普通的彩色图像传感器由于带有过滤近红外光的滤光片，所以无需这一步操作，而本申请的多光谱图像传感器为了能够对采集多样的光谱信息，因此会包含有可通过近红外光的滤光片，以采集近红外光的光谱数据)；
2)完成上述操作后，将R、G0、G1、B四个通道的灰度值后，整个滤光片矩阵(即滤光单元组)可以近似看成如图11中的(c)一样的方式排布；
3)将重新排布后的RGB数据输入对应的彩色信号处理模型，从而输出彩色图像，至此，完成了RGB颜色恢复。
上述方式虽然牺牲了滤光片矩阵内部分的分辨率，且有5/9的空间信息被采样过程丢弃，对于原始分辨率输出为3a*3b的多光谱图像传感器而言，其RGB输出的图像分辨率为2a*2b，然而上述方式能够利用通用的彩色信号处理模型完成多光谱图像传感器的RGB恢复，能够提高了彩色图像恢复的通用性以及效率。因此，在确定了适用上述RGB恢复算法后，可以根据不同排布方式下，上述RGB恢复算法的恢复效果，来确定图像采集指标，并基于图像采集指标确定滤光片矩阵内各个滤光片的目标方式。
进一步地，作为本申请的另一实施例，所述图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度小于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。
在本实施例中，上述图像采集指标具体包含四种类型的特征参量，分别为：信息采样度、畸变距离、与基准通道之间的距离参量以及不同滤光片之间的光谱相似度。以下分别说明上述三种特征参量的含义以及相关的计算方式。具体描述如下：
1)信息采样度：
继续以3*3的滤光片矩阵为例进行说明，如上所述，在进行RGB恢复算法时，由于只有4个滤光片提供RGB恢复算法的彩色信息，即丢弃了3*3阵列中5个通道的信息(即五个位置的滤光片采集到的数据)，只保留的其中4个。这4个滤光片在3*3阵列中的不同位置时，对整个滤光片矩阵的空间信息的采样作用是不同的，因此可以通过信息采样度来表示上述四种颜色的滤光片在不同位置上时在空间信息上的采样效果。示例性地，图12示出了本申请一实施例提供的滤光片阵列中RGB通道的不同滤光片的排布位置的示意图，如图12所示，滤光片阵列中的滤光片矩阵具体为RGGB矩阵，其中，上述四种滤光片(分别为1～4滤光片)在滤光片矩阵中的位置如图所示，从而基于滤光片矩阵构成对应的滤光片阵列。由于像素A对应的采集信息在进行RGB恢复算法的过程中会被丢弃，因此若想恢复像素A的信息，利用其邻域内的其他像素信息进行补全；在像素A的8个邻域像素中，由于上下左右4个像素与中心(即像素A)之间的距离比左上、右上、左下、右下4个像素与中心之间的距离小，因此所贡献的信息更准确。因此，可以将像素A的上下左右邻域的像素，在恢复像素A的信息时贡献的信息量识别为1，而左上、右上、左下、右下邻域的像素，在恢复像素A的信息时贡献的信息量识别为0.707(即
)。基于此，滤光片矩阵以图12的方式进行排布时，像素A的8邻域只有其中左上、右上、左、右4个像素配置有RGGB滤光片，即上述四个像素采集的信息有效，其他的邻域像素在进行RGB恢复时会被丢弃，即属于无效信息，因此像素A能够从邻域获取的信息量为上述四个邻域的总和，即SA＝0.707+0.707+1+1＝3.414，同理也可以通过上述方式分别计算像素B、C、D、E对应的信息量，最终计算3*3排布中5个被丢弃像素所能够得到的总信息量S＝SA+SB+SC+SD+SE＝16.484。将总信息量S作为该排布方式的信息采样度，S反映了RGGB滤光片以上述排布方式对应的滤光片矩阵能够为全分辨率图像恢复提供的信息总量，由于信息总量提供得越多，则数据损失越少，因此信息采样度越大越好。在确定目标方式时，可以配置有对应的采样度阈值。若某一候选方式对应的信息采样度大于上述的采样度阈值，则可以进行其他特征参量的比对，以判断该候选方式是否为目标方式。
进一步地，该采样度阈值可以根据所有候选方式对应的信息采样度决定，例如，可以将所有候选方式中信息采样度数值第二大的信息采样度作为上述的采样度阈值，从而选择出数值最大的信息采样度。
2)畸变距离
示例性地，图13示出了本申请一实施例提供的畸变距离的计算示意图。参见图13所示，本申请提供了两种滤光片矩阵的排布方式，第一种方式如图13中的(a)所示，另一种方式如图13中的(b)所示，以3*3的滤光片矩阵为例进行说明，以图13的方式建立一个坐标系(当然，也可以其他方式建立坐标系)，左上角为坐标零点，且每个滤光片对应的长和宽均为4，则在该滤光片矩阵中，R像素的中心坐标为(2,2)，在进行RGB恢复算法后(参见1)中所述进行矩阵的近似转换)，等效近似的RGB恢复后的矩阵中，用4个滤光片(即RGGB四个滤光片)代替原有的9个滤光片所占的空间，因此每个像素的长和宽均变为了6，此时R像素的中心坐标为(3,3)。上述矩阵的相似变换的操作，对R通道(即红色滤光片)而言，引入了一个畸变量，畸变量为：
即1.414，同理可以计算其他3个通道的畸变量，而上述畸变距离等于各通道畸变距离的总和，在不同的4通道排布设计下，畸变距离越小越好，由此可见，以图13中的(a)方式进行排布时，该滤光片矩阵对应的畸变距离为9.153。此外，畸变距离的计算需要注意另外一种情况，如上图右所示，在原有的3*3阵列设计中，B通道在G0通道的右方，而在近似变换后，B通道位于G0通道的下方，这种改变4通道之间空间拓扑位置的近似变换会对RGB效果带来较大的负面影响，因此这种排布设计在计算总畸变量时对G0通道的畸变量乘上惩罚因子，例如该惩罚因子为2，同理B通道畸变量也需要乘以惩罚因子2，因此计算上惩罚因子后，以图13中的(b)方式进行排布时，该滤光片矩阵对应的畸变具体为27.2039。由此可见，在选取目标方式时，应该选取畸变距离较小的候选方式作为目标方式，因此若某一候选方式对应的畸变距离小于上述的畸变阈值，则可以进行其他特征参量的比对，以判断该候选方式是否为目标方式。
进一步地，该畸变阈值可以根据所有候选方式对应的畸变距离决定，例如，可以将所有候选方式中畸变距离中数值第二小的畸变距离作为上述的畸变阈值，从而选择出数值最小的畸变距离。
3)与基准通道之间的距离参量
如上所述，在进行RGB恢复算法时，首先需要用4通道的灰度值分别减去近红外光IR通道的灰度值，因此可以将IR通道作为基准通道。当然在其他应用场景下，若采用其他波段的滤光片对应的通道作为基准通道，也可以将IR通道替换为对应波段的通道。在进行上述RGB恢复算法时，由于4通道灰度值中的IR分量与IR通道的灰度值相同。因此在确定滤光片矩阵的排布方式时，需要让4个通道(即RGGB通道)对应的滤光片在滤光片矩阵内的位置应离IR通道对应的滤光片的位置尽可能近，并且上述4个通道与IR通道之间的距离尽可能相同。为此，定义四个通道的滤光片与IR滤光片之间的距离，以及上述距离的波动值。示例性地，图14示出了本申请另一实施例提供的滤光片矩阵内各个滤光片的排布方式，参见图13所示，B通道(即可以通过蓝色的滤光片)离IR通道的距离为1，由于G0通道在IR通道的左上方，因此与IR通道之间的距离被为1.414(即
)，剩余可以通过上述方式确定，因此，以上述排布方式得到的滤光片矩阵中，上述四个通道与IR通道之间的距离之和，为1+1+1.414+1.414＝4.828；IR距离波动为4通道与IR通道之间距离的标准差，为0.239。在不同的滤光片矩阵的候选方式中，距离之和与IR距离波动越小越好。
4)基于透过率曲线计算得到的光谱相似度
在计算得到各个候选方式对应的信息采样度、畸变距离、距离参量(即距离之和以及IR距离波动)后，就可以对所有候选方式进行定量评价。示例性地，图15示出了本申请提供的所有候选方式在上述三种参量的参数表。如图15中的(a)所示，从左到右从上到下编号为1至18，具体的参数可以参见图15中的(a)的表格，因此，根据比对各个候选方式中信息采样度、畸变距离、与基准通道之间的距离参量(即IR通道的距离之和以及IR距离波动)，可以确定出采样度阈值、畸变阈值以及距离阈值，并确定出上述四个通道以及基准通道(即IR通道)最优的排布方式如图15中的(b)所示。
在确定了上述5个通道对应的位置后，可以确定该矩阵中剩余的其他4个位置所需放置的滤光片。由于不同颜色在空间中应尽可能均匀分布，应避免相近的颜色的滤光片在3*3的滤光片矩阵中过于集中，即尽可能使相近的颜色不相邻。以上图为例进行说明，确定剩余的4种待确定位置的滤光片对应的透过率曲线，并将任一待确定位置的滤光片放置于空余的位置内，计算该待确定位置的滤光片的通过率曲线与邻近的已确定位置的滤光片的透过率曲线之间的光谱相似度，其中，两条透过率曲线相似性可以基于采用光谱测量领域内对光谱曲线的相似性度量指标确定，例如可以采用两条透过率曲线的欧式距离、光谱角、相关系数等相似性度量指标，在此不做特定限定，在多个空余的位置中确定出相似度最小的位置作为该待确定位置的滤光片的位置，通过上述方式得到待确定位置的滤光片在滤光片矩阵内的位置，从而使得每个滤光片对应的透过率曲线均与其邻域的滤光片的透过率曲线具有预设的加权相关性。对于所有待确定位置的滤光片均依次执行上述步骤，从而可以从所有候选方式中确定出各个滤光片在滤光片矩阵内排布时对应的目标方式。
在一种可能的实现方式中，基于上述四种特征参量的计算方式，终端设备可以遍历计算所有滤光片矩阵的候选方式关于上述四种特征参量对应的参数值，并基于各个特征参量对应的参数值计算出各个候选方式对应的图像采集指标，从而可以选取出最优的图像采集指标，并将最优的图像采集指标对应的候选方式作为目标方式。
在一种可能的实现方式中，本实施例提供的多光谱图像传感器也可以集成于一成像模块中，在该情况下，成像模块包括：所述多光谱图像传感器、镜头以及电路板；所述电路板上设有至少一个多光谱图像传感器以及镜头；镜头设于所述多光谱图像传感器上，以使入射光线透过所述镜头照射于所述多光谱图像传感器上。
在本申请实施例中，通过多个特征维度来确定图像采集指标，特征维度包含有信息采集度、畸变程度、滤光片之间的相关性以及与中心点之间的波动范围，从多个方面来定量评定滤光片矩阵的采集效果，能够准确有效地确定出最优的目标排布方式，从而提高了后续多光谱图像传感器的采集精度以及与应用场景之间的适配性。
实施例三：
在本发明实施例中，流程的执行主体为终端设备，该终端设备具体用于制造实施例一或实施例二所述的多光谱图像传感器，即上述终端设备具体可以为一多光谱图像传感器的制造装置。图16示出了本发明第一实施例提供的多光谱图像传感器的制造方法的实现流程图，详述如下：
在S1601中，在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂；所述目标颜色为与所述预设波长相匹配的颜色。
在本实施例中，终端设备在制作多光谱图像传感器的滤光片阵列时，由于滤光片阵列内包含有多个对应不同预设波长的滤光片，因此需要依次填充不同的光阻剂从而得到各个对应不同预设波长的滤光片。终端设备首先可以确定各个滤光片阵列中各个预设波长对应的填充次序，并确定出当前填充周期对应的目标波长。其中，该目标波长为待填充的预设波长中填充次序最前的预设波长。
例如，滤光片阵列中的滤光单元组为3*3的滤光片矩阵，即滤光片阵列中包含有9个滤光片，若9个滤光片对应9种不同的预设波长，则可以为每个预设波长预先配置对应的填充次序，分别为1～9，若填充次序为1的预设波长并未被填充，则在当前的填充周期时会选取填充次序为1的预设波长为目标波长，并执行S1602的操作；若填充次序为1～4的预设波长均被填充完成，则在当前的填充周期时会选择填充次序为5的预设波长为目标波长，直到所有预设波长均被填充完成。
需要说明的是，不同预设波长对应的填充次序可以预先设置，在实际制造时可以根据需要对填充次序进行调整。其中，由于滤光片阵列中对应相同预设波长的滤光片的个数可以为多个，因此在该情况下，可以同时在多个滤光单元组内对应相同预设波长的滤光片的位置填充光阻剂，从而提高制造效率。
在本实施例中，终端设备在确定了目标波长后，即确定所需填充的预设波长后，可以确定目标波长在滤光片阵列中所需填充的区域，即上述滤光片填充区域。如上所述，由于一个滤光片阵列内可以包含多个滤光单元组，而每个滤光单元组中均包含目标波长对应的滤光片，因此，每个滤光单元组均对应至少一个目标波长的滤光片填充区域，终端设备会将与目标波长相匹配的目标颜色的光阻剂填充到每个滤光单元组中对应的滤光片填充区域内。
在一种可能的实现方式中，在将光阻剂填充到滤光片填充区域时，可以采用旋涂的方式将光阻剂均匀覆盖在位于衬底上的滤光片填充区域内。
在一种可能的实现方式中，该衬底具体可以为感光芯片，即在感光芯片上直接填涂不同预设波长的滤光片。
在S1603中，在预设的照射时间内开启照射光源，并在所述照射光源与填充了所述光阻剂后的衬底之间设置光掩模板，得到预设波长对应的滤光片。
在本实施例中，终端设备在滤光片填充区域内填充完成目标颜色的光阻剂后，可以在开启照射光源，并在预设的照射时间内对填充了光阻剂的衬底进行照射，其中，在光源与衬底之间的光路中间会配置有预先设置的光掩模板，通过光掩模板照射后的衬底，会只保留滤光上述选取的预设波长对应的滤光片填充区域内填充的所述光阻剂，即上述选取的预设波长对应的滤光片已经完成，并固定于该衬底上，可以制造其他预设波长的滤光片。
在一种可能的实现方式中，终端设备可以将照射完成后的衬底放置于显影机内，通过显影机中的显影液去除多余的未被固化的光阻剂，即清除除目标波长对应的滤光片填充区域外其他区域可能存在的光阻剂，从而在衬底上只保留有上述滤光片填充区域的光阻剂，即生成目标波长对应的滤光片。
在S1604中，在照射完毕后，返回执行所述在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂的操作，直到所有所述预设波长在所述衬底上均有对应的所述滤光片。
在本实施例中，在得到上述目标波长对应的滤光片后，可以基于填充次序继续制造其他预设波长对应的滤光片，即重复执行S1601～S1603的操作，直到得到所有预设波长对应的滤光片。
在一种可能的实现方式中，填充上述光阻剂具体可以采用以下五个类型的方式，分别为：
1)染色法，此方法主要包括两大步骤，具体为图案化光阻制备步骤和染色步骤。首先，在衬底上涂布无色的光阻剂，干燥硬化之后通过掩模板进行紫外线曝光，再经显影后便形成透明图案化的透明滤光片；接着用染料(即与目标波长对应的目标颜色)对这些图案化中关联的位置(即目标波长对应的滤光片填充区域)的透明光阻进行染色，便得到了单色的滤光片；重复上述过程，可分别不同预设波长的滤光片，最终制成彩色光阻层。然而，此方法耐热、耐光、耐化学性、耐水性较差，工艺复杂，成本较高。
2)颜料分散法，具有工艺简单、性能稳定、可靠等优点。颜料分散法的制备方法具体为：首先，制造对应不同预设波长的光阻剂，再将该任一预设波长对应的光阻剂涂布在衬底内与预设波长关联的滤光片填充区域上，经过曝光、显影等光刻工艺后便可制成预设波长对应的滤光片；重复上述过程即对应多个不同预设波长的滤光片。
3)喷墨法，具体包含以下步骤：首先在衬底上形成由黑色矩阵组成的微点阵的像素框架,再利用喷墨方式,把对应不同预设波长的目标颜料的光阻精准地喷布在像素框架相应的滤光片填充区域内,再经由固化,制备保护层,形成包含不同预设波波长的滤光片。此方法的优点是成本低、工艺简单、颜料利用率高、可制备大尺寸多光谱的滤光片,然而要求较高的打印精度。
4)光刻胶热熔法，方法主要分为三个步骤：1、以目标图案为曝光团(正六边形，矩形或者圆形)利用掩模板的遮蔽使基板的光刻胶曝光。2、清洗残留杂物。3、在加热平台上和加热，使之热熔成型。优点：工艺简单，材料以及设备的要求低，易于扩大化生产和控制工艺参数。
5)激光直写技术，激光直写方法主要有如下的步骤：1、计算机上设计微透镜阵列的曝光结构；2、设计图案写入激光直写设备中；3、带有光刻胶的基板放在直写设备对应的刻写平台上，进行激光刻写，刻写后清理表面残留物。得到阵列结构。其优点是：精度高，适合于模型制作，便于扩大生产，高品质低成本。
在S1605中，将填充有所有所述预设波长对应的所述滤光片的衬底识别为滤光片阵列，并基于所述滤光片阵列得到多光谱图像传感器；所述滤光片阵列包含至少一个滤光单元组；所述滤光单元组内的滤光片以预设的目标排布方式进行排布；所述目标排布方式是所述滤光单元组对应的图像采集指标最优对应的排布方式。
在本实施例中，终端设备通过上述可以将对应不同预设波长的滤光片均制造于在衬底上，因此可以将上述填充有多种不同颜色的光阻剂的衬底识别为滤光片阵列，并将滤光片阵列、感光芯片以及微透镜阵列进行封装，从而得到多光谱图像传感器。由于在确定各个预设波长在衬底上的滤光片填充区域时，各个滤光片填充区域是基于图像采集指标最优的目标排布方式确定的，因此，衬底上形成的滤光单元组内的各个滤光片也是以预设的目标排布方式进行排布，以达到最优的图像采集效果。
在一种可能的实现方式中，在制造完成所有滤光片后，其表面可能存在凹凸不平的情况，容易提高了入射光的反射率，导致通光量减少；因此，在制造微透镜阵列之前，可以在填充完成的衬底的顶部再涂布一层顶部平坦层，用来改善感光芯片表面的平坦度，降低入射光的反射率。制作这层平坦层采用涂布工艺，将平坦层材料涂布于感光芯片表面的滤光层之上；再经过烘烤或者紫外固化，形成顶部平坦层，其中，除了能够减少反射率外，该顶部平坦层还起到保护滤光层的作用。
在一种可能的实现方式中，制造微透镜阵列的方式具体可以为：采用涂布机在顶部平坦层上以旋涂的方式均匀涂上光刻胶(光刻胶也是一种光阻剂，此处的光刻胶是一种透过率较高的透明光阻剂)，控制旋涂过程中温度和速度在预设的范围内；然后，与制备滤光片类似，采用紫外光对光刻胶上方的掩模版进行曝光，对特定区域的光刻胶进行固化，然后利用显影液去除未固化的光刻胶；最后，将感光芯片置于加热平台上加热烘烤，使得固化的光刻胶熔融为微透镜阵列，单个微透镜可以为正六边形，矩形或者圆形等。
进一步地，作为本申请的另一实施例，在S1601之前，终端设备可以确定滤光片的目标方式，具体包含以下步骤：根据所述目标排布方式，确定所述预设波长在每个滤光单元组中对应的所述滤光片填充区域。
其中，终端设备可以计算各个候选排布方式对应的图像采集指标，并基于图像采集指标确定目标排布方式。其中，图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度小于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。其中，具体计算方式以及确定方式可以参见上一实施例的描述，在此不再赘述。
进一步地，作为本申请的另一实施例，在S1602之前，还可以包括：在所述衬底上均匀填涂胶水，并将所述胶水进行固化，以在所述衬底上形成一平坦化层；在所述衬底的平坦化层上的所述滤光片填充区域内均匀填充所述目标颜色的光阻剂。
在本实施例中，为了保证滤光片阵列的底部平整，在制作滤光片阵列内的各个滤光片之前可以先对衬底进行平台化，即在衬底上制造一层平坦化层(Planarizationlayer,PL)，覆盖在感光芯片的衬底表面。平坦化层制作的流程是先在衬底表面涂布一层平坦胶水，然后进行烘烤或者紫外固化。平坦化层在改善底部感光芯片平整度的同时也增加彩色滤光片的黏附力，同时起到保护感光芯片的作用。
示例性地，图17示出了本申请一实施例提供的多光谱图像传感器的制造流程示意图。参见图17所示，具体包含以下多个步骤：1)对衬底(即感光芯片)进行前期测试，对衬底的外观进行初步识别，若感光芯片并未识别异常，则执行下一步骤；2)在感光芯片上制造平坦化层PL，如图17中的(a)所示，具体实现过程可以参见上面的描述，在此不再赘述；3)采用S1601～S1604的步骤依次在衬底上填充对应不同预设波长的滤光片，如图17中的(b)所示；4)顶部平坦化，在完成各个滤光片后配置对应的顶部平坦层，如图17中的(c)所示；5)制造微透镜阵列，如图17中的(d)所示；6)开焊盘，在微透镜工艺的最后，采用曝光的形式将覆盖在焊盘上的材料(如树脂等)去除掉，将焊盘打开，以便后续封装及测试制程采用，如图17中的(e)所示；7)封装，对上述制备得到的器件进行封装，从而得到制备后的多光谱图像传感器。
以上可以看出，本发明实施例提供的一种多光谱图像传感器的制造方法通过分别在衬底上填充不同预设波长的光阻剂，从而得到包含多种不同预设波长的滤光片阵列，并基于该滤光片阵列生成多光谱图像传感器，基于该方式生成的多光谱图像传感器可以同时采集被测对象的多光谱图像，从而能够实现同时采集多个不同波段的光信号，生成多光谱图像数据，保证了多光谱图像数据中不同通道采集的实时性，提供了成像精度以及效率。
实施例四
在本发明实施例中，流程的执行主体为终端设备，该终端设备具体用于确定制造实施例一或实施例二所述的多光谱图像传感器的具体制造方式，即上述终端设备具体可以为一多光谱图像传感器的制造装置，并在多种候选的制造方式中确定目标制造方式。图18示出了本发明第一实施例提供的多光谱图像传感器的制造方法的实现流程图，详述如下：
在S1801中，分别获取滤光单元组内多个对应不完全相同的波长的滤光片的特征参数组；所述多光谱图像传感器包含至少一个所述滤光单元组；所述多光谱图像传感器以任一候选制造方式制造得到，且不同的所述特征参数组对应不同的所述候选制造方式。
在本实施例中，在制造多光谱图像传感器时，为了提高多光谱图像传感器与应用场景之间的适配性，以及提高多光谱图像传感器采集图像的准确性，可以确定多光谱图像传感器的最优的一个制造方式，并确定得到最优的制造方式作为目标制造方式，并基于目标制造方式制造上述多光谱图像传感器。基于此，终端设备需要获取不同候选制造方式对应的检测准确率，并基于检测准确率确定出目标制造方式。
在本实施例中，终端设备可以通过不同的候选制造方式制造得到对应的多光谱图像传感器，该多光谱图像传感器内包含至少一个滤光单元组，且该滤光单元组内包含有对应不同预设波长的滤光片。
不同的制造方式对于多光谱图像传感器中的滤光片的滤光特征均有影响。举例性地，滤光片是基于光阻剂得到的，因此，光阻剂的制造方式也属于多光谱图像传感器的制造步骤之一，因此，在确定多光谱图像传感器的制造方式时，可以包括各个原料的制造步骤，以及基于各个原料制造步骤组装得到多光谱图像传感器的步骤。
以光阻剂这一原料的制造步骤为例进行说明，该光阻剂的主要成分包括：碱可溶性树脂、光固化树脂、颜料、光引发剂、有机溶剂以及添加剂。基于颜料分散法得到的光阻剂属于负型光阻剂；负型光阻剂的分子键会因为光线的照射产生交联而紧密结合，被掩模版遮蔽的部分因为分子间没有产生交联作用，而易被显影液洗去，从而会保留被照射区域的光阻剂，从而得到滤光片。碱可溶性树脂的作用是为了在显影时洗去未被曝光区域的光阻剂。由于显影时用碱性溶液，所以要求该树脂具有一定的酸值，以便在显影时与碱性显影液发生反应，从而洗净未曝光区。光引发剂是在光照时能快速形成自由基或离子活性基，以便光固化树脂间发生交联反应。颜料使光阻彩色化，彩色光阻的色度由其决定。颜料分散法中常用的颜料可以为酞著类、DPP类等有机颜料，可以对颜料进行适当的表面细化处理，以使颜料粒径在预设的阈值范围内，从而提高滤光片的透过率。颜料分散法中先将颜料预分散在分散剂中，使颜料、分散剂、有机溶剂充分混合，然后将预分散的液体倒入砂磨机中，设定适当的转速与能量输入。经砂磨后的颜料母液的粒径应在预设的粒径范围内，且呈正态分布。颜料母液可以具有良好的存储稳定性，以使颜料母液在室温下保存个月粒径无大变化。有机溶剂可以调整彩色光阻的粘度，使其接近理想牛顿流体，便于填充时能够均匀旋转涂布。其他添加剂，如消泡剂，能加快消除光阻剂中的气泡，改善成膜性能润湿；分散剂，能保证固体颗粒在光阻剂中较好地分散并保持稳定；流平剂，它能改善涂层的平整性及光泽等等。因此，在确定光阻剂的制造步骤时，需要确定上述各个原料的添加比例以及相关的制造步骤，即在确定目标制造方式时，也需要确定制造光阻剂时，各个原料的添加比例以及相关的制造步骤。
在本实施例中，上述滤光片对应的特征参数组具体用于确定基于候选制造方式得到的滤光片对应的滤光特征，上述特征参数组可以包括：滤光片的透过率曲线、中心波长、半高全宽等。
在一种可能的实现方式中，终端设备可以分别采集基于不同制造方式得到的滤光片的特征参数组，并基于所有制造方式得到的特征参数组构成了特征数据库。终端设备在需要制造某一应用场景对应的多光谱图像传感器时，可以直接从该特征数据库内提取对应候选制造方式生成的滤光片的特征参数组即可，无需再次重新制造基于该候选制造方式生成的滤光片，以及对应的多光谱图像传感器，能够大大提高了目标制造方式确定的效率。
在S1802中，将所有所述滤光片对应的所述特征参数组及预设参数组导入到预设的特征向量转换模型，得到多个基于不同探测目标获取的特征向量。
在本实施例中，终端设备除了获取基于候选制造方式得到的滤光片对应的特征参量组外，还可以获取基于多个不同探测目标获取得到的预设参数组。该预设参数组是通过在预设光源下照射探测目标后，采集得到的。上述预设参数组可以包括有关于预设光源的光谱曲线，以及关于探测目标的反射率曲线。其中，上述探测目标的选取是基于该滤光单元组所使用的应用场景确定的，例如，若滤光单元组需要应用于活体检测场景，则上述探测目标可以为多个活体人以及多个假体。
在本实施例中。终端设备可以将处于同一滤光单元组内的所有滤光片的特征参数组以及上述的预设参数组均导入到预设的特征向量转换模型内，从而可以得到基于多个不同探测目标获取的特征向量，不同的探测目标可以对应一个特征向量。该特征向量可以用于确定对于该探测目标对应的识别灰度值，从而可以根据多个不同探测目标对应的识别灰度值来确定该基于预设方式排布各个滤光片的滤光单元组是否与对应的应用场景相匹配。
进一步地，作为本申请的另一实施例，特征参数组内包含光源经过对应的滤光片后的反射率曲线以及该滤光片的透过率曲线；在该情况下，S1802具体可以包含以下步骤：
步骤1：将所述滤光片对应的所述透过率曲线、所述多个光源的光谱曲线、所述探测目标的反射率曲线导入到所述特征向量转换模型，计算得到基于所述探测目标获取的特征值；所述特征向量转换模型具体为：
其中，DNi为所述滤光单元组内第i个所述滤光片对应的特征值；S(λ)为光源的光谱曲线；Ri(λ)为所述探测目标的所述反射率曲线；Ti(λ)为第i个所述滤光片的透过率曲线；η(λ)为所述多光谱图像传感器的量子效率曲线；k为所述多光谱图像传感器的光电转换系数；λ0与λ1为多个所述光谱对应的波段范围。
步骤2：基于所述滤光单元组内所有所述滤光片对应的所述特征值，得到所述特征向量。
在本实施例中，在获取滤光片的特征参数组时，终端设备可以开启预设的光源，将光源照射于探测目标上，入射光线会经过探测目标进行反射，得到对应的反射光线，反射光线可以照射到滤光单元组上，即反射光线会透过滤光单元组内的各个滤光片被记录下来，终端设备可以获取基于预设光源下不同探测目标对应的预设参数组以及滤光片对应的透过率曲线，确定对应的特征向量，因此上述预测参数内包含有光源的光谱曲线以及探测目标的反射率曲线，光源的波段范围在λ0与λ1之间。其中，终端设备已预先存储有多光谱图像传感器中感光芯片对应的量子效率曲线，基于此，终端设备可以将上述采集到的各类参数均导入到上述特征向量转换函数，从而分别计算基于各个探测目标获取的特征值，最后，根据所有滤光片的特征值，生成特征向量；该特征向量内包含有各个滤光片对应的特征值。由于每个特征向量会对应一个探测目标，因为，为了确定滤光单元组对应的识别准确性，会获取多个不同探测目标的特征向量。
在S1803中，将多个所述特征向量导入到所述多光谱图像传感器关联应用场景类型对应的检测模型，并计算对应的检测准确率。
在本实施例中，终端设备可以在确定了基于候选特征方式制造的多光谱图像传感器对应的特征向量后，可以确定该特征向量与多光谱图像传感器所使用的应用场景之间的契合度，即通过检测准确率来衡量，若该检测准确率的数值越大，则该多光谱图像传感器与应用场景之间的契合度越高；反之，若该检测准确率的数值越小，则该光谱图像传感器与应用场景之间的契合度越低，因此，通过计算该检测准确率，可以选取出最优的候选制造方式。
示例性地，该应用场景类型可以为活体检测场景类型，终端设备可以获取用于确定活体检测准确率的检测模型，则该检测模型具体为活体识别检测模型，在该情况下，S1803具体包括：获取所述活体识别场景类型关联的活体识别检测模型；所述活体识别评分模型用于确定所述特征向量在进行活体识别时的准确率；将多个所述特征向量导入到所述活体识别检测模型，计算通过所述候选制造方式得到的多光谱图像传感器进行活体识别时的检测准确率。
在本实施例中，终端设备可以将特征向量导入到活体识别检测模型内，可以确定基于多光谱图像传感器进行活体识别时，对应的识别准确率。将该特征向量导入到评分模型内，可以确定利用该多光谱图像传感器进行活体检测时的识别准确性以及检测速率，即上述的检测准确率。
在一种可能的实现方式中，上述应用场景类型包括：活体检测场景类型、人脸检测场景类型、植被生态识别的场景类型等。不同的场景类型对应不同的检测模型，并将所有检测模型存于模型库内。基于此，终端设备可以根据该多光谱图像传感器所需使用的应用场景类型，从模型库内选取匹配的检测模型，并将特征向量导入到该检测模型，计算得到检测准确率。
进一步地，作为本申请的另一实施例，在S1803之前，终端设备还可以生成评分模型，具体包括以下三个步骤：
步骤1：获取在不同光源场景下多个光源对应的所述光谱曲线，得到光源数据库。
步骤2：基于所述光源数据库，确定所述应用场景类型关联的若干探测目标在不同所述光源场景下对应的反射率曲线，得到识别对象数据库。
步骤3：基于所述光源数据库以及所述识别对象数据库，生成所述检测模型。
在本实施例中，为了确定多光谱图像传感器与应用场景类型之间的匹配度，终端设备可以构建对应的光源数据库以及对象数据库，该光源数据库是基于多个不同光源场景下多个光源对应的光谱曲线，而对象数据库是根据不同探测目标的反射率曲线确定的，例如，在活体识别场景类型下，上述不同对象类型分别为活体探测目标以及非活体探测目标；在人脸识别场景类型下，上述不同对象类型则可以为男性人脸探测目标、女性探测目标等。由于多光谱图像传感器的特征向量是基于滤光片的透过率曲线以及探测目标的反射率曲线生成的，因此，基于光源数据库与对象数据库构建的检测模型，则可以判断出该特征向量在该应用场景类型下，识别的准确性。
其中，对象数据库内具体可以根据多个探测目标的样本，以及探测目标的样本标签构成，上述样本标签用于确定该探测目标所属的对象类型。其中，多个探测目标可以划分为训练集以及测试集两部分，训练集用于对原生的网络模型进行训练，测试集用于确定训练后的网络模型的识别准确率，将基于测试集以及训练集调整后的网络模型作为上述的评分模型。
在S1804中，根据所有所述候选制造方式对应的所述检测准确率，选取最高检测准确率对应的所述滤光单元组的特征参数组，并将与其对应的所述多光谱图像传感器的候选制造方式作为所述多光谱图像传感器的初始制造方式。
在本实施例中，终端设备可以根据各个候选制造方式对应的检测准确率，选取出与应用场景类型之间的匹配度最高的一个候选制造方式，作为多光谱图像传感器对应的初始制造方式。其中，上述初始制造方式具体是确定了该滤光单元组内所选取的滤光片的种类，以及各个种类的滤光片相互之间的相对位置关系，换而言之，该初始制造方式具体用于确定滤光单元组内各个滤光片的排布方式。
进一步地，作为本申请的另一实施例，在所述根据所有所述候选制造方式对应的所述检测准确率，选取最高检测准确率对应的所述滤光单元组的特征参数组，并将与其对应的所述多光谱图像传感器的候选制造方式作为所述多光谱图像传感器的初始制造方式之后，还包括：对所述多光谱图像传感器的初始制造方式对应的所述滤光片的特征参数组进行迭代优化以确定所述多光谱图像传感器的最优制造方式；上述方式具体包括以下两种方式：
方式1：提高特定工作波段范围的透过率在所述多个滤光片的透过率曲线中的权重并得到更新后的所述多个滤光片的特征参数组；所述特定工作波段范围是基于多个所述探测目标的所述反射率曲线确定的。
方式2：将更新后的所述特征参数组及所述预设参数组导入到所述预设的特征向量转换模型，得到多个基于不同探测目标获取的更新特征向量；
将所述多个更新特征向量导入所述活体检测模型，并计算更新的检测准确率；
根据更新后的所述检测准确率调整所述滤光片对应的透过率曲线的形状与幅值。
在本实施例中，制造方式包括确定滤光单元组内不同滤光片的排布方式以及制造工艺。基于此，终端设备可以首先确定多光谱图像传感器内各个滤光片的初始制造后，可以对该初始制造方式进行迭代优化，从而提高该滤光单元组的识别准确性。其中，进行迭代优化的方式具体是调整在预设工作波段范围的透过率在各个滤光片的透过率曲线中的权重值。
在本实施例中，终端设备可以对各个滤光片的制造工作进行调整，以改变滤光片的透过率曲线的形状以及幅值，以提高在特定工作波段上对应的权重值，以增加在识别不同类型的探测目标时的差异性，以使识别准确率达到最优。基于此，由于制造工艺可以改变滤光片的透过率曲线，而在不同的应用场景下，关联有不同的特定工作波段范围，终端设备可以根据应用场景类型，确定与之关联的特定工作波段范围。
在本实施例中，终端设备在对滤光片的透过率曲线进行迭代优化后，可以进行验证操作，即基于更新后的透过率曲线确定对应的特征参数组，并重新计算更新后的透过率曲线以及预设参数组对应的更新特征向量，从而能够确定对应的检测准确率，在基于该检测准确率对透过率曲线进行优化，依次类推，重复上述步骤，直到检测准确率达到最优值，并将达到最优值的透过率曲线对应的制造方式，作为该滤光单元组的目标制造方式。
可选地，在所述步骤2之前，可以确定应用场景类型对应的关键特征波段，具体可以包括以下步骤：
步骤11：获取所述应用场景类型对应的不同类型所述探测目标的反射率曲线。
步骤12：根据所述不同类型所述探测目标的反射率曲线，确定各个波段对应的离散指标。
步骤13：选取所述离散指标大于预设离散阈值的波段作为所述特定工作波段范围。
在本实施例中，应用场景类型可以关联有不同类型的探测目标，终端设备可以获取不同类型的探测目标的反射率曲线，该反射率曲线可以是各个类型的探测目标在预设的光源下反射得到的曲线。终端设备可以比对不同类型的探测目标的反射率曲线在不同波段对应的离散指标，由于离散程度越大，则表示在该波段下，不同类型的探测目标之间的反射率曲线的差异越大，因此，在进行探测目标的类型识别时，该波段的更能够体现不同类型的探测目标之间的差异。基于此，选取离散指标大于预设的离散阈值的波段作为关键特征波段。
以上可以看出，本发明实施例提供的一种多光谱图像传感器的制造方法通过获取基于任一种候选制造方式得到的滤光单元组内多个对应不完全相同的预设波长的滤光片的特征参数组，并将所有滤光片对应的所述特征参数组以及预设参数组导入到预设的特征向量转换模型，确定滤光单元组对应的特征向量，从而得到了该候选制造方式对应的检测准确率，以判断以该候选制造方式制造的多光谱图像传感器与应用场景是否适配，继而确定出适应性最好的候选制造方式，并将该候选执行方式作为多光谱图像传感器的初始制造方式，其中，初始制造方式确定了所需选取的各个滤光片之间的排布方式，之后，可以对上述初始制造方式进行迭代优化，以进一步提高后续检测的准确性，通过本申请实施例可以制造一个包含有多个对应不完全相同的预设波长的滤光片的滤光单元组的多光谱图像传感器，以实现在成像时同时采集不同光谱的目的，以提高成像精度、效率以及准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图19示出了本发明一实施例提供的一种多光谱图像传感器的制造装置的结构框图，该多光谱图像传感器的制造装置包括的各单元用于执行图16对应的实施例中的各步骤。具体请参阅图16与图16所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参见图19，所述多光谱图像传感器的制造装置包括：
光阻剂填充单元191，用于在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂；所述目标颜色为与所述预设波长相匹配的颜色；
光掩模板照射单元192，用于在预设的照射时间内开启照射光源，并在所述照射光源与填充了所述光阻剂后的衬底之间设置光掩模板，得到所述预设波长对应的滤光片；
重复填充执行单元193，用于在照射完毕后，返回执行所述在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂的操作，直到所有所述预设波长在所述衬底上均有对应的所述滤光片；
传感器封装单元194，用于将填充有所有所述预设波长对应的所述滤光片的衬底识别为滤光片阵列，并基于所述滤光片阵列得到多光谱图像传感器；所述滤光片阵列包含至少一个滤光单元组；所述滤光单元组内的滤光片以预设的目标排布方式进行排布；所述目标排布方式是所述滤光单元组对应的图像采集指标最优对应的排布方式。
可选地，所述多光谱图像传感器的制造装置还包括：
目标排布方式确定单元，用于根据所述目标排布方式，确定所述预设波长在每个滤光单元组中对应的所述滤光片填充区域。
可选地，所述图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度小于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。
可选地，光阻剂填充单元191包括：
平坦化层制造单元，用于在所述衬底上均匀填涂胶水，并将所述胶水进行固化，以在所述衬底上形成一平坦化层；
平坦化层填充单元，用于在所述衬底的平坦化层上的所述滤光片填充区域内均匀填充所述目标颜色的光阻剂。
图20是本发明另一实施例提供的一种终端设备的示意图。如图20所示，该实施例的终端设备20包括：处理器200、存储器201以及存储在所述存储器201中并可在所述处理器200上运行的计算机程序202，例如多光谱图像传感器的制造程序。所述处理器200执行所述计算机程序202时实现上述各个多光谱图像传感器的制造方法实施例中的步骤，例如图16所示的S101至S105。或者，所述处理器200执行所述计算机程序202时实现上述各装置实施例中各单元的功能，例如图19所示模块191至194功能。
示例性的，所述计算机程序202可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器201中，并由所述处理器200执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序202在所述终端设备20中的执行过程。
所述终端设备可包括，但不仅限于，处理器200、存储器201。本领域技术人员可以理解，图20仅仅是终端设备20的示例，并不构成对终端设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器200可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器201可以是所述终端设备20的内部存储单元，例如终端设备20的硬盘或内存。所述存储器201也可以是所述终端设备20的外部存储设备，例如所述终端设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器201还可以既包括所述终端设备20的内部存储单元也包括外部存储设备。所述存储器201用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器201还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多光谱图像传感器，其特征在于，所述多光谱传感器包括：沿入射光方向依次排列的微透镜阵列、滤光片阵列以及感光芯片；
所述感光芯片，包括多个像素单元；
所述滤光片阵列，包括至少一个滤光单元组；每个所述滤光单元组包含多个对应不完全相同预设波长的滤光片；每个所述滤光单元组内的所述滤光片以目标方式进行排布；所述目标方式是所述滤光单元组对应的图像采集指标最优对应的排布方式；
所述微透镜阵列，包括至少一个微透镜单元，所述微透镜单元用于汇聚所述入射光线，并使得汇聚后的所述入射光线经过所述滤光片阵列聚焦于所述感光芯片上；
所述图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度小于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。
2.根据权利要求1所述的多光谱图像传感器，其特征在于，每个所述滤光单元组包括一m*n的滤光片矩阵，所述滤光片矩阵内包含对应至少4种不同预设波长的所述滤光片；所述m和所述n为大于1的正整数。
3.根据权利要求1所述的多光谱图像传感器，其特征在于，每个所述像素单元上覆盖有一个所述滤光片，或每个所述滤光片覆盖于多个所述像素单元上。
4.根据权利要求1-3任一项所述的多光谱图像传感器，其特征在于，所述多光谱图像传感器还包括基底，所述感光芯片、所述滤光片阵列以及所述微透镜阵列依次排布于所述基底上。
5.一种基于权利要求1所述的多光谱图像传感器的成像模块，其特征在于，所述成像模块包括：所述多光谱图像传感器、镜头以及电路板；
所述电路板上设有至少一个所述多光谱图像传感器以及所述镜头；
所述镜头设于所述多光谱图像传感器上，以使入射光线透过所述镜头照射于所述多光谱图像传感器上。
6.一种多光谱图像传感器的制造方法，其特征在于，包括：
在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂；所述目标颜色为与所述预设波长相匹配的颜色；
在预设的照射时间内开启照射光源，并在所述照射光源与填充了所述光阻剂后的衬底之间设置光掩模板，得到所述预设波长对应的滤光片；
在照射完毕后，返回执行所述在衬底上任一预设波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂的操作，直到所有所述预设波长在所述衬底上均有对应的所述滤光片；
将填充有所有所述预设波长对应的所述滤光片的衬底识别为滤光片阵列，并基于所述滤光片阵列得到多光谱图像传感器；所述滤光片阵列包含至少一个滤光单元组；所述滤光单元组内的滤光片以预设的目标排布方式进行排布；所述目标排布方式是所述滤光单元组对应的图像采集指标最优对应的排布方式；
所述图像采集指标包括：信息采样度、畸变距离、与基准通道之间的距离参量以及基于透过率曲线计算得到的光谱相似度，所述图像采集指标最优具体指：所述滤光片以所述目标方式进行排布时，所述信息采样度大于采样度阈值、所述畸变距离小于畸变阈值，所述距离参量小于预设的距离阈值，相邻的各个所述滤光片之间的所述光谱相似度小于预设的相似阈值；其中，所述采样度阈值是基于所有候选方式的信息采样度确定的；所述距离阈值是基于所有所述候选方式的畸变距离确定的。
7.根据权利要求6所述的制造方法，其特征在于，在所述在衬底上所述目标波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂之前，还包括：
根据所述目标排布方式，确定所述预设波长在每个滤光单元组中对应的所述滤光片填充区域。
8.根据权利要求6-7任一项所述的制造方法，其特征在于，所述在衬底上所述目标波长对应的滤光片填充区域内均匀填充目标颜色的光阻剂，包括：
在所述衬底上均匀填涂胶水，并将所述胶水进行固化，以在所述衬底上形成一平坦化层；
在所述衬底的平坦化层上的所述滤光片填充区域内均匀填充所述目标颜色的光阻剂。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110620663.3A CN113418864B (zh) | 2021-06-03 | 2021-06-03 | 一种多光谱图像传感器及其制造方法 |
| PCT/CN2021/107955 WO2022252368A1 (zh) | 2021-06-03 | 2021-07-22 | 一种多光谱图像传感器及其制造方法 |
| US18/370,630 US20240015385A1 (en) | 2021-06-03 | 2023-09-20 | Multispectral image sensor and manufacturing method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110620663.3A CN113418864B (zh) | 2021-06-03 | 2021-06-03 | 一种多光谱图像传感器及其制造方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113418864A CN113418864A (zh) | 2021-09-21 |
| CN113418864B true CN113418864B (zh) | 2022-09-16 |
Family
ID=77713764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110620663.3A Active CN113418864B (zh) | 2021-06-03 | 2021-06-03 | 一种多光谱图像传感器及其制造方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240015385A1 (zh) |
| CN (1) | CN113418864B (zh) |
| WO (1) | WO2022252368A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113566966B (zh) * | 2021-06-03 | 2023-07-04 | 奥比中光科技集团股份有限公司 | 一种多光谱图像传感器的制造方法及其设备 |
| CN113937120A (zh) * | 2021-10-12 | 2022-01-14 | 维沃移动通信有限公司 | 多光谱成像结构及方法、多光谱成像芯片和电子设备 |
| CN117880653A (zh) * | 2021-12-22 | 2024-04-12 | 荣耀终端有限公司 | 多光谱传感器以及电子设备 |
| CN115268210A (zh) * | 2022-07-25 | 2022-11-01 | 北京理工大学 | 一种基于光刻的多光谱计算传感器制备方法及装置 |
| CN115314617A (zh) * | 2022-08-03 | 2022-11-08 | Oppo广东移动通信有限公司 | 图像处理系统及方法、计算机可读介质和电子设备 |
| CN116188305B (zh) * | 2023-02-16 | 2023-12-19 | 长春理工大学 | 基于加权引导滤波的多光谱图像重建方法 |
| CN116222783B (zh) * | 2023-05-08 | 2023-08-15 | 武汉精立电子技术有限公司 | 一种光谱测量装置及方法 |
| CN117392710B (zh) * | 2023-12-05 | 2024-03-08 | 杭州海康威视数字技术股份有限公司 | 一种图像识别系统 |
| CN117554304B (zh) * | 2024-01-11 | 2024-03-22 | 深圳因赛德思医疗科技有限公司 | 一种喉镜片材料成分检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN210129913U (zh) * | 2019-09-18 | 2020-03-06 | 深圳市合飞科技有限公司 | 一种多镜头光谱相机 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US6171885B1 (en) * | 1999-10-12 | 2001-01-09 | Taiwan Semiconductor Manufacturing Company | High efficiency color filter process for semiconductor array imaging devices |
| GB0912970D0 (en) * | 2009-07-27 | 2009-09-02 | St Microelectronics Res & Dev | Improvements in or relating to a sensor and sensor system for a camera |
| WO2013104718A2 (en) * | 2012-01-10 | 2013-07-18 | Softkinetic Sensors Nv | Color and non-visible light e.g. ir sensor, namely a multispectral sensor |
| FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
| US9521385B2 (en) * | 2014-03-27 | 2016-12-13 | Himax Imaging Limited | Image sensor equipped with additional group of selectively transmissive filters for illuminant estimation, and associated illuminant estimation method |
| AU2015277218B2 (en) * | 2014-06-18 | 2021-02-25 | Innopix, Inc. | Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays |
| CN105959514B (zh) * | 2016-04-20 | 2018-09-21 | 河海大学 | 一种弱目标成像检测装置 |
| CN107040724B (zh) * | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
| CN111866316B (zh) * | 2019-04-26 | 2021-11-12 | 曹毓 | 一种多功能成像设备 |
| WO2020237482A1 (zh) * | 2019-05-27 | 2020-12-03 | 深圳市汇顶科技股份有限公司 | 用于人脸识别的光学传感器、装置、方法和电子设备 |
| US11516387B2 (en) * | 2019-06-20 | 2022-11-29 | Cilag Gmbh International | Image synchronization without input clock and data transmission clock in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
| CN211481355U (zh) * | 2020-03-11 | 2020-09-11 | Oppo广东移动通信有限公司 | 一种多光谱传感结构、传感器及相机 |
| CN113447118B (zh) * | 2020-03-24 | 2023-05-16 | 吉林求是光谱数据科技有限公司 | 一种可实现彩色成像的多光谱成像芯片及彩色成像方法 |
| CN111490060A (zh) * | 2020-05-06 | 2020-08-04 | 清华大学 | 光谱成像芯片及光谱识别设备 |
| CN112490256B (zh) * | 2020-11-27 | 2023-08-22 | 维沃移动通信有限公司 | 多光谱成像结构、方法、芯片、摄像头模组和电子设备 |
-
2021
- 2021-06-03 CN CN202110620663.3A patent/CN113418864B/zh active Active
- 2021-07-22 WO PCT/CN2021/107955 patent/WO2022252368A1/zh unknown
-
2023
- 2023-09-20 US US18/370,630 patent/US20240015385A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN210129913U (zh) * | 2019-09-18 | 2020-03-06 | 深圳市合飞科技有限公司 | 一种多镜头光谱相机 |
Non-Patent Citations (1)
| Title |
|---|
| 基于阵列相机的多光谱成像系统光谱重建算法;孙振等;《计算机与现代化》;20100615(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113418864A (zh) | 2021-09-21 |
| US20240015385A1 (en) | 2024-01-11 |
| WO2022252368A1 (zh) | 2022-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113418864B (zh) | 一种多光谱图像传感器及其制造方法 | |
| US20240020809A1 (en) | Method for manufacturing multispectral image sensor, and device thereof | |
| KR102040368B1 (ko) | 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너 | |
| US7768641B2 (en) | Spatial image modulation to improve performance of computed tomography imaging spectrometer | |
| US7894058B2 (en) | Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information | |
| TWI699117B (zh) | 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體 | |
| CN106575035B (zh) | 用于光场成像的系统和方法 | |
| WO2022252367A1 (zh) | 一种多光谱图像传感器及其成像模块 | |
| CN102484723B (zh) | 固体摄像元件、摄像装置以及信号处理方法 | |
| KR20110016438A (ko) | 카메라 센서 교정 | |
| EP3700197B1 (en) | Imaging device and method, and image processing device and method | |
| CN104581100A (zh) | 色彩滤镜阵列和图像处理方法 | |
| CN104347659A (zh) | 图像拾取元件、其制造设备及制造方法以及成像设备 | |
| US7876434B2 (en) | Color camera computed tomography imaging spectrometer for improved spatial-spectral image accuracy | |
| US20070252908A1 (en) | Method of Creating Colour Image, Imaging Device and Imaging Module | |
| CN106412533A (zh) | 数字成像装置、数字成像设备和数字成像方法 | |
| CN112005545B (zh) | 用于重建由覆盖有滤色器马赛克的传感器获取的彩色图像的方法 | |
| CN103503144A (zh) | 固体摄像装置 | |
| CN109148500A (zh) | 双层彩色滤光器及其形成方法 | |
| US20050151861A1 (en) | Performance digital image sensing | |
| KR100868279B1 (ko) | 컬러 이미지를 생성하는 방법, 이미징 장치 및 이미징 모듈 | |
| CN215179622U (zh) | 多光谱通道器件以及多光谱通道分析装置 | |
| US20240151884A1 (en) | Pixel having light focusing transparent diffractive grating | |
| TW202413899A (zh) | 多光譜光學感測器、攝影機系統及視差補償方法 | |
| CN115993330A (zh) | 一种线扫式光谱成像系统及其成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |