CN114518168A - 光谱成像芯片及其制备方法和信息处理方法 - Google Patents
光谱成像芯片及其制备方法和信息处理方法 Download PDFInfo
- Publication number
- CN114518168A CN114518168A CN202110161799.2A CN202110161799A CN114518168A CN 114518168 A CN114518168 A CN 114518168A CN 202110161799 A CN202110161799 A CN 202110161799A CN 114518168 A CN114518168 A CN 114518168A
- Authority
- CN
- China
- Prior art keywords
- layer
- light
- modulation
- imaging chip
- spectral imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 259
- 238000003672 processing method Methods 0.000 title claims abstract description 39
- 230000010365 information processing Effects 0.000 title claims abstract description 38
- 238000002360 preparation method Methods 0.000 title abstract description 9
- 230000003595 spectral effect Effects 0.000 claims abstract description 89
- 238000003384 imaging method Methods 0.000 claims abstract description 66
- 238000001228 spectrum Methods 0.000 claims description 66
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 33
- 239000000463 material Substances 0.000 claims description 26
- 239000000523 sample Substances 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000012496 blank sample Substances 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 9
- 230000002860 competitive effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000004451 qualitative analysis Methods 0.000 abstract description 6
- 238000004445 quantitative analysis Methods 0.000 abstract description 6
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 55
- 229910052710 silicon Inorganic materials 0.000 description 55
- 239000010703 silicon Substances 0.000 description 55
- 239000013078 crystal Substances 0.000 description 40
- 238000012546 transfer Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 32
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 25
- 239000011265 semifinished product Substances 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 15
- 235000012239 silicon dioxide Nutrition 0.000 description 12
- 239000000377 silicon dioxide Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 239000002184 metal Substances 0.000 description 11
- 229910052751 metal Inorganic materials 0.000 description 11
- 150000001875 compounds Chemical class 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 238000005530 etching Methods 0.000 description 8
- 238000005498 polishing Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 229910021332 silicide Inorganic materials 0.000 description 8
- FVBUAEGBCNSCDD-UHFFFAOYSA-N silicide(4-) Chemical compound [Si-4] FVBUAEGBCNSCDD-UHFFFAOYSA-N 0.000 description 7
- 229910052581 Si3N4 Inorganic materials 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 229910052732 germanium Inorganic materials 0.000 description 6
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000000227 grinding Methods 0.000 description 5
- 239000002086 nanomaterial Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 3
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 150000002739 metals Chemical class 0.000 description 3
- 229920002120 photoresistant polymer Polymers 0.000 description 3
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 3
- 229910010271 silicon carbide Inorganic materials 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000004038 photonic crystal Substances 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000005019 vapor deposition process Methods 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005137 deposition process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002107 nanodisc Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- -1 oxygen ions Chemical class 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000004528 spin coating Methods 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本发明提供一种光谱成像芯片及其制备方法和信息处理方法。所述光谱成像芯片可以同时获取被摄对象的光谱信息和图像信息。具体地，与传统的图像传感器相比，所述光谱成像芯片可以在不影响所成图像的空间分辨率及成像质量的同时，获得被摄对象的光谱信息，便于掌握待成像对象更全面的信息。而且，由于被摄对象的光谱信息可以用于唯一标识待成像对象，因此可以通过待成像对象的光谱信息实现对待成像对象进行定性或定量分析。
Description
技术领域
本发明涉及成像技术领域，尤其涉及一种光谱成像芯片及其制备方法和信息处理方法。
背景技术
目前，成像芯片及成像设备被广泛应用。以相机为例，其中包含有图像传感器(例如，CMOS图像传感器或者CCD传感器)，用以获取被摄对象的图像信息，例如，被摄对象的RGB色彩信息。
但是，无论以CMOS图像传感器或者CCD传感器作为成像芯片，其仅能获取被摄对象的图像信息，而无法获取被摄对象的光谱信息。也就是，现有技术中的成像芯片及成像设备无法获取物体的光谱信息，导致所得到的图像无法广泛应用于需要物体的光谱信息作为数据支撑的智能AI识别、物质组分定性定量分析等场景中。
发明内容
本申请的一优势在于提供一种光谱成像芯片及其制备方法和信息处理方法，其中，所述光谱成像芯片通过特殊的芯片结构能够获得被摄对象的图像信息和/或光谱信息。
通过下面的描述，本申请的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
为实现上述至少一优势，本申请提供一种光谱芯片，其包括：
图像传感层，包括多个传感单元；以及
位于所述图像传感层的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；
其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
在根据本申请的光谱成像芯片中，所述至少一调制单元和所述至少一非调制单元位于同一平面。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于0且小于等于25％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于5且小于等于15％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于45％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于35％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于45％且小于等于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于50％且小于等于55％。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于80％且小于等于95％。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元关于所述光调制层的中心对称的布置。
在根据本申请的光谱成像芯片中，所述光调制层的调制单元位于所述光调制层的中间区域。
在根据本申请的光谱成像芯片中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括形成于所述光调制层的非调制单元处的滤光层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括形成于所述光调制层的非调制单元处的滤光层。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于0且小于等于0.5。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于0且小于等于0.15。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于等于0.5且小于1。
在根据本申请的光谱成像芯片中，所述光调制层的稀疏度大于等于0.85且小于1。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：电连接于所述图像传感层的信号处理电路层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：形成于所述滤光层和/或所述光调制层的调制单元的微透镜层。
在根据本申请的光谱成像芯片中，所述光谱成像芯片进一步包括：一体成型于所述图像传感层的可透光介质层，其中，所述可透光介质层的上表面为平整表面。
在根据本申请的光谱成像芯片中，所述光调制层一体地结合于所述可透光介质层。
在根据本申请的光谱成像芯片中，所述光调制层与所述可透光机制层的折射率之差大于等于0.5。
在根据本申请的光谱成像芯片中，所述光调制层通过结合层一体结合于所述可透光介质层，所述可透光介质层与所述结合层相键合。
在根据本申请的光谱成像芯片中，所述可透光介质层与所述结合层具有相同的制成材料。
在根据本申请的光谱成像芯片中，每个所述调制单元包括沿着所述感光路径分设置的多个调制子单元。
在根据本申请的光谱成像芯片中，每个所述调制子单元具有孔状结构或柱状结构。
在根据本申请的光谱成像芯片中，每个所述调制单元中具有孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个所述调制单元中具有孔状结构的不同调制子单元的结构参数不完全相同。
根据本申请的另一方面，还提供了一种适于光谱成像芯片的信息处理方法，其包括：
获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及
基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的调制单元被配置为对进入其所对应的所述像素点的成像光线进行调制，其所对应的所述像素点适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的调制单元位于所述光调制层的中间区域。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述光调制层的非调制单元位于所述光调制层的边缘区域。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息；以及，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息，包括：基于平滑滤波方法，对任一所述调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到任一所述调制单元对应的像素点的拟合光强信息。
在根据本申请的适于光谱成像芯片的信息处理方法中，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：将基于所有所述非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述被摄对象的图像信息；其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
在根据本申请的适于光谱成像芯片的信息处理方法中，所述拟合模型的训练过程，包括：基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；以及，将训练得到的生成器作为所述拟合模型。
通过对随后的描述和附图的理解，本申请进一步的目的和优势将得以充分体现。
本申请的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了本申请提供的信息处理方法的流程示意图；
图2图示了本申请提供的光谱成像设备的结构示意图；
图3图示了本申请提供的光谱成像芯片的具体结构示意图；
图4图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图5图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图6图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图7图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图8图示了本申请提供的光谱成像芯片中调制柱的结构形状示意图；
图9图示了本申请提供的光谱成像芯片中调制柱的纵截面形状示意图；
图10图示了本申请提供的光谱成像芯片的结构示意图；
图11图示了本申请提供的光谱成像芯片的结构示意图；
图12图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图13图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图14图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图15图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图16图示了本申请提供的光谱成像芯片中光调制层的结构示意图；
图17图示了本申请提供的光谱成像芯片中CIS晶圆的结构示意图；
图18图示了本申请提供的光谱成像芯片中CIS晶圆的结构示意图；
图19a图示了本申请提供的光谱成像芯片的结构示意图；
图19b图示了本申请提供的光谱成像芯片的结构示意图；
图20图示了本申请提供的光谱成像芯片的结构示意图；
图21图示了本申请提供的光谱成像芯片的结构示意图；
图22图示了本申请提供的光谱成像芯片的结构示意图；
图23图示了本申请提供的光谱成像芯片的结构示意图；
图24图示了本申请提供的光谱成像芯片的结构示意图；
图25图示了本申请提供的光谱成像芯片的结构示意图。
图26图示了根据本申请实施例的所述光谱成像芯片的光调制层的稀疏度的示意图。
图27图示了根据本申请实施例的所述光谱成像芯片的制备过程的示意图。
图28图示了根据本申请实施例的所述光谱成像芯片的制备过程的一个变形实施的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如前所述，现有技术中的CMOS或者CCD成像芯片及成像设备无法获取物体的光谱信息，导致所得到的图像无法广泛应用于需要物体的光谱信息作为数据支撑的智能AI识别、物质组分定性定量分析等场景中。
本领域普通技术人员应知晓，光与物质发生相互作用，如吸收、散射、荧光、拉曼等，会产生特定光谱，并且，每种物质的光谱都是独一无二的。在现行的方案中，被摄对象的光谱信息需要专门的设备(例如，光谱仪)去采集。因此，当需要同时获得被摄对象的光谱信息和图像信息时，往往需要多个摄像模组和/或设备进行配合工作，并通过算法将获得的图像信息和光谱信息进行整合。
应可以理解，由于需要多个摄像模组和/或设备，会导致成本增加。更为重要的是，这种方案会占据相对较大的空间，导致这种方案的可移动性差，可集成性差，也就是，其很难被集成地应用到终端设备中。
基于此，本申请发明人通过对传统感光芯片和光谱信息测量技术的研究，提出了一种光谱成像芯片，其通过特殊的芯片结构能够获得被摄对象的图像信息和/或光谱信息。与传统的CMOS成像芯片或者CCD成像芯片相对，所述光谱成像芯片既能够获得被摄对象的光谱芯片，也能够获得被摄对象的图像信息，从而能够有效地将这两种信息进行整合。
进一步地，与传统的成像芯片相比，根据本申请的所述光谱成像芯片可以在不影响或者很小程度地影响被摄对象的图像信息的分辨率的前提下，获得被摄对象的光谱信息。通过适当的调整，根据本申请的所述光谱成像芯片可以在不影响或者很小程度地影响被摄对象的光谱信息的前提下，获得被摄对象的至少部分图像信息。
应可以理解，由于被摄对象的光谱信息可以唯一标识被摄对象，因此，可以基于被摄对象的光谱信息对被摄目标进行定性或者定量的分析，例如，可以将本申请的所述光谱成像芯片应用于如水果新鲜度分析、大气污染程度分析、AI场景识别等应用领域中。也就是，相较于传统的CMOS成像芯片或者CCD成像芯片，根据本申请的所述光谱成像芯片的应用场景更广。
基于此，本申请还提供了一种光谱成像芯片，其包括：图像传感层，包括多个传感单元；以及，位于所述图像传感层的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
基于此，本申请还提供了一种适于光谱成像芯片的信息处理方法，其包括：获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及，基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请功能的各种非限制性实施例。
示例性光谱成像芯片和适于所述光谱成像芯片的信息处理方法
由于相机在各行各业中有极为广泛的应用，但现有的相机中，图像传感器只能获得被摄对象的图像信息，例如，被摄对象的RGB色彩信息，却无法获得被摄对象的光谱信息(或者说，丢失了大部分的光谱信息)。因此，本申请提供了一种适用于光谱成像芯片信息处理方法，并在相机中利用应用于该信息处理方法的光谱成像芯片，以使得相机在成像时可以同时获得物体的光谱信息，可以在智能AI识别，物质组分定性定量分析等方面提供帮助。
图1为本申请实施例中提供的一种信息处理方法，所述信息处理方法适用于光谱成像芯片。如图1所示，适用于光谱成像芯片的所述信息处理方法，包括：
S1，获取来自待成像对象的目标光束照射后光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；
S2，基于所述目标光束照射后每个调制单元对应的像素点的频谱信息，确定所述待成像对象的光谱信息，并基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息。
具体地，本申请实施例中提供的信息处理方法，可以应用于光谱成像芯片，其执行主体可以是光谱成像芯片中包含的信号处理电路层，通过该信号处理电路层实现对待成像对象进行成像，并获取待成像对象的图像信息以及光谱信息。其中，待成像对象可以是人物及相关人物识别特征、场景等。
值得一提的是，上述方法并不是绝对的，在个别应用场景中，上述方法可以理解为所述光谱成像芯片只需要获取待成像对象的图像信息或光谱信息，此时步骤S1可以理解为只用获取频谱信息或光强信息；而对应S2则只需跟据S1获取的信息，确定对应待成像对象的图像信息。例如，使用该成像设备去获取光谱图像，则只需在步骤S1获取光谱信息，步骤S2输出光谱图像。
该方法的应用场景可以如图2所示，图2为光谱成像设备的结构示意图。光源模块300发出的光照射到待成像对象200上，光谱成像芯片100接收待成像对象200反射的目标光束，光谱成像芯片100经过对目标光束的处理后得到待成像对象的图像信息以及光谱信息。光源模块300可以为可见光到近红外的宽谱光源。
首先，执行步骤S1。光谱成像芯片的具体结构可以如图3所示，该光谱成像芯片100可以包括：光调制层110、图像传感层120和信号处理电路层130，光调制层110、图像传感层120和信号处理电路层130沿厚度方向顺次层叠设置。光调制层110沿表面分布有至少一个调制单元1101和至少一个非调制单元1102，也就是，所述光调制层110包括沿着其所设定的表面分布的至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，每个调制单元1101以及每个非调制单元1102分别与对应的传感单元120构成光谱成像芯片100的一个像素点。信号处理电路层130与传感单元1201电连接，信号处理电路层130用于执行信息处理方法，以确定待成像对象的图像信息以及光谱信息。
相应地，在步骤S1中，每个调制单元对应的像素点的频谱信息，以及，每个非调制单元对应的像素点的光强信息，表示，所述调制单元所属的像素点的频谱信息和每个非调制单元所属的像素点的光强信息。也就是，这里的对应并非表示所述非调制单元或所述调制单元与所述像素点之间的位置关系，而是指所述调制单元/所述非调制单元与所述像素点之间的从属关系。
光调制层110的厚度为60nm～1200nm，光调制层110可以是直接在图像传感层120上制备得到。具体可以是在图像传感层120上直接生长一层或多层材料再通过刻蚀制备出调制单元，或者，在图像传感层120上直接刻蚀制备出调制单元，进而得到光调制层110。图像传感层120具体可以是CIS晶圆，图像传感层120中的每个传感单元1201均对应为CIS晶圆中的一个像素单元，用于对经过光调制层110的光束进行探测。举例但不限定，可以是从晶圆级别直接在CIS晶圆上单片集成微纳结构光调制层110，利用CMOS工艺一次流片可完成光谱成像芯片的制备。
每个调制单元1101可以是微纳结构单元，用于对目标光束进行调制，每个非调制单元1102不具有调制能力，无法对目标光束进行调制，而是直接使目标光束透过。光调制层110上的每个调制单元1101可以直接制备在CIS晶圆的感光区域表面上，而CIS晶圆上未制备调制单元的区域还是传统的RGB或黑白像素，CIS晶圆上未制备调制单元的区域对应于光调制层上的非调制单元。由于光谱成像芯片的光调制层包括调制单元以及非调制单元，则既可以获取每个调制单元对应的像素点的频谱信息，即经过每个调制单元调制后得到并被对应的传感单元检测到的频谱信息，还可以获取每个非调制单元对应的像素点的光强信息，即经过每个非调制单元直接得到对应的传感单元检测到的光强信息。频谱信息是指每个调制单元对应的像素点处不同波长的光对应的光强信息。不同的调制单元对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本方面实施例中对此不作具体限定。
然后，执行步骤S2。根据目标光束照射后每个调制单元对应的像素点的频谱信息，可以确定出待成像对象的光谱信息。具体地，可以通过将每个调制单元得到的频谱信息编码到CIS晶圆的对应传感单元上，然后采用单元阵列响应处理方法重构得到。光谱重构算法具体可以包括但不限于最小二乘法、非负最小二乘法、模拟退火法、Tikhonov正则化方法、截断奇异值分解方法、稀疏优化方法等。
由于每个调制单元对应的像素点的频谱信息有可能无法用于确定待成像对象的完整图像信息，因此需要根据目标光束照射后每个非调制单元对应的像素点的光强信息，确定出待成像对象的图像信息。具体的方式可以忽略每个调制单元对应的像素点的光强信息，仅仅采用所有非调制单元对应的像素点的光强信息确定出待成像对象的图像信息；还可以先通过每个非调制单元对应的像素点的光强信息确定出每个调制单元对应的像素点的光强信息，然后结合所有非调制单元对应的像素点的光强信息共同确定出待成像对象的图像信息。本申请实施例中对此不作具体限定。
本申请实施例中提供的信息处理方法，可以应用于光谱成像芯片，通过获取来自待成像对象的目标光束照射后光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息，确定出待成像对象的光谱信息，根据目标光束照射后调制层中每个非调制单元对应的像素点的光强信息，确定出待成像对象的图像信息。与传统的图像传感器相比，可以不影响所成图像的空间分辨率及成像质量的同时，获得光谱信息，便于掌握待成像对象更全面的信息。而且，由于待成像对象的光谱信息可以用于唯一标识待成像对象，因此可以通过待成像对象的光谱信息实现对待成像对象进行定性或定量分析，可以使光谱成像芯片应用于如水果新鲜度、大气污染程度、AI场景识别、活体识别等领域，增加了光谱成像芯片的应用场景，为光谱成像芯片的广泛应用提供理论基础。另外，本申请实施例中将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，降低器件的大小和成本。
在上述实施例的基础上，在本申请实施例中提供的信息处理方法中，步骤S1，所述基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息的过程，包括：首先，基于所述目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息；然后，基于每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息。
具体地，本申请实施例中在确定待成像对象的图像信息时，首先可以根据目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定出每个调制单元对应的像素点的拟合光强信息。每个调制单元周围是指与该调制单元距离最近的左方、左上方、上方、右上方、右方、右下方、下方以及左下方等8个位置。每个调制单元周围的非调制单元的数量与光调制层的结构有关，光调制层一般为矩形结构，顶点位置处的每个单元周围均分别有3个单元，除顶点位置外的其他边缘位置处的每个单元周围均分别有5个单元，除顶点位置以及其他边缘位置处的每个单元周围均分别有8个单元。如果光调制层的结构如图4所示，则每个调制单元周围最多有5个非调制单元，最少有3个非调制单元；如果光调制层的结构如图5所示，则每个调制单元周围最多有6个非调制单元，最少有0个非调制单元；如果光调制层的结构如图6所示，则每个调制单元周围最多有4个非调制单元，最少有0个非调制单元；如果光调制层的结构如图7所示，则每个调制单元周围均有8个非调制单元。本申请以矩形结构为例，只是为了便于理解，具体光调制层结构可以根据需求设计。
以图7示出的光调制层的结构为例，可以对每个调制单元周围的至少一个非调制单元对应的像素点的光强信息进行拟合，进而确定出每个调制单元对应的像素点的拟合光强信息。拟合方式可以是算术平均、加权平均或者选取其中光强信息的中位数等方式，本申请实施例中对此不作具体限定。
然后，根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，即可确定出待成像对象的图像信息。该图像信息为完整的图像信息，其中包含有每个像素点的光强信息。
本申请实施例中，通过目标光束照射后每个调制单元周围的至少一个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息，可以使得根据每个调制单元对应的像素点的拟合光强信息，以及每个非调制单元对应的像素点的光强信息，确定的待成像对象的图像信息为完整的图像信息，保证了图像的完整性，从而不影响整体成像。
在上述实施例的基础上，本申请实施例中提供的信息处理方法，所述基于所述目标光束照射后每个调制单元周围的多个非调制单元对应的像素点的光强信息，确定每个调制单元对应的像素点的拟合光强信息，具体包括：
基于平滑滤波方法，对任一调制单元周围的多个非调制单元对应的像素点的光强信息进行滤波处理，得到所述任一调制单元对应的像素点的拟合光强信息。
具体地，本申请实施例中在确定每个调制单元对应的像素点的拟合光强信息时，具体可以通过平滑滤波方法实现。其中，平滑滤波方法可以包括中值滤波、平滑滤波、高斯滤波器等。
对于中值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝median[f(x-1,y-1),f(x,y-1),f(x+1,y-1),
f(x-1,y),f(x+1,y),f(x-1,y+1),f(x,y+1),f(x+1,y+1)]
其中，median表示取中值操作，f(x,y)为调制单元A对应的像素点的光强信息，(x,y)为调制单元A对应的像素点的坐标值；f(x-1,y-1)为调制单元A左下方的非调制单元对应的像素点的光强信息，如果调制单元A左下方不是非调制单元，则该值为0；f(x,y-1)为调制单元A下方的非调制单元对应的像素点的光强信息，如果调制单元A下方不是非调制单元，则该值为0；f(x+1,y-1)为调制单元A右下方的非调制单元对应的像素点，如果调制单元A右下方不是非调制单元，则该值为0；f(x-1,y)为调制单元A左方的非调制单元对应的像素点，如果调制单元A左方不是非调制单元，则该值为0；f(x+1,y)为调制单元A右方的非调制单元对应的像素点，如果调制单元A右方不是非调制单元，则该值为0；f(x-1,y+1)为调制单元A左上方的非调制单元对应的像素点，如果调制单元A左上方不是非调制单元，则该值为0；f(x,y+1)为调制单元A上方的非调制单元对应的像素点，如果调制单元A上方不是非调制单元，则该值为0；f(x+1,y+1为调制单元A右上方的非调制单元对应的像素点，如果调制单元A右上方不是非调制单元，则该值为0。
对于均值滤波，如果取滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)+f(x-1,y)+f(x+1,y)+f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]/8
对于高斯滤波，如果去滤波窗口的大小为3*3个像素点，则任一调制单元A对应的像素点的光强信息为：
f(x,y)＝0.111*[f(x-1,y-1)+f(x-1,y-1)+f(x-1,y+1)+f(x+1,y+1)]+0.139*[f(x,y-1)+f(x-1,y)+f(x+1,y)+f(x,y+1)]
其中，0.11、0.139分别为对应的像素点的光强信息的权重。
在上述实施例的基础上，在本申请实施例中提供的信息处理方法中，步骤：所述基于所述目标光束照射后每个非调制单元对应的像素点的光强信息，确定所述待成像对象的图像信息，包括：将所述目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待成像对象的图像信息；其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
具体地，本申请实施例中在确定待成像对象的图像信息时，具体可以通过对抗神经网络等机器学习方法实现。本申请实施例中通过对抗神经网络构建拟合模型，并通过存在空白像素的空缺样本图像以及空缺样本图像对应的不存在空白像素的完整样本图像标签对拟合模型进行训练。最后将目标光束照射后基于所有非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述待成像对象的图像信息。其中，完整样本图像标签是指空缺样本图像对应的实际完整样本图像。
本申请实施例中，引入基于对抗神经网络构建的拟合模型，可以更快速更准确地确定出待成像对象的图像信息。
在上述实施例的基础上，本申请实施例中提供的信息处理方法，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到，具体包括：
基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；
将训练得到的生成器作为所述拟合模型。
具体地，对抗神经网络包括生成器和鉴别器，生成器以空缺样本图像作为输入，生成空缺样本图像对应的完整样本图像作为输出。鉴别器以多幅完整样本图像作为输入，这些完整样本图像包括完整样本图像标签和生成器生成的完整样本图像。在训练时，生成器和鉴别器相互竞争。生成器的目标是尽量输出经过鉴别器判别得分高的完整样本图像，鉴别器的目标是尽量使完整样本图像标签得分高，同时使生成器输出的完整样本图像的得分尽量低。经过训练后，得到生成器，并将训练得到的生成器作为拟合模型。
如图3所示，在上述实施例的基础上，本申请实施例中提供了一种光谱成像芯片，包括：沿厚度方向顺次层叠设置的光调制层110、图像传感层120和信号处理电路层130；其中，
光调制层110沿表面分布有至少一个调制单元1101和至少一个非调制单元1102。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101以及每个非调制单元1102沿厚度方向分别对应至少一个传感单元1201，每个调制单元1101以及每个非调制单元1102分别与对应的传感单元1201构成光谱成像芯片100的一个像素点。信号处理电路层130与传感单元1201电连接，信号处理电路层130用于上述各实施例中提供的信息处理方法，以确定待成像对象的图像信息以及光谱信息。光调制层110的厚度为60nm～1200nm，光调制层110可以是直接在图像传感层120上制备得到。具体可以是在图像传感层120上直接生长一层或多层材料再通过刻蚀制备出调制单元，或者在图像传感层120上直接刻蚀制备出调制单元，进而得到光调制层110。图像传感层120具体可以是CIS晶圆，图像传感层120中的每个传感单元均对应为CIS晶圆中的一个像素，用于对经过光调制层的光束进行探测。从晶圆级别直接在CIS晶圆上单片集成微纳结构光调制层，利用CMOS工艺一次流片可完成光谱成像芯片的制备。
本申请实施例中提供的光谱成像芯片，可以同时确定出待成像对象的图像信息以及光谱信息，使得光谱成像芯片可以应用于如水果新鲜度、大气污染程度、AI场景识别等领域，增加了光谱成像芯片的应用场景，为光谱成像芯片的广泛应用提供理论基础。另外，本申请实施例中将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，降低器件的大小和成本。
作为优选方案，光调制层可以是厚度为200nm-500nm的氮化硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm2～40000μm2。其中，调制单元占总单元数的10％，其余90％为非调制单元。
作为优选方案，光调制层可以为厚度100-400nm的硅。光调制层上可以分布有1000～250000个单元，每个单元的尺寸为100μm2～40000μm2。其中，调制单元占总单元数的15％，其余85％为非调制单元。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述光调制层中的调制单元具体可以为微纳结构单元，通过刻蚀得到。光调制层的结构如图4-图7所示。图4中，光调制层的边缘位置分布有多个不同的调制单元，每个调制单元均可以对应一个或多个传感单元，调制单元可以占满或不占满边缘位置，可以连续或不连续分布，可位于任意边缘位置，光调制层的其余位置为非调制单元，即不刻有调制单元，为空白单元，目标光束可以直接透射到光调制层下方的CIS晶圆RGB或黑白像素上。光调制层的每个单元(包括调制单元与非调制单元)下方有对应的传感单元。光调制层中每个调制单元对不同波长的光有不同的调制作用，各个调制单元之间对输入光谱的调制方式可以相同也可以不同，不同的调制方式可包括但不限于散射、吸收、透射、反射、干涉、激元、谐振增强等作用，调制作用的最终效果是不同波长的光通过调制单元后的透射谱不同。光通过调制单元调制作用后，由调制单元下方对应的传感单元探测到光强信息。每个单元与其下方的传感单元构成一个像素点。通过算法可以得到一个像素点上各个波长的强度分布。
图5中，光调制层的边缘位置和中间位置分布有多个不同的调制单元，每个调制单元可以对应一个或多个传感单元，调制单元可以位于任意边缘位置或中间位置，可以连续或不连续分布，位置可以任意选择。每个调制单元可以是由多个相同的调制子单元构成的阵列，也可以是由多个不同的调制子单元构成的阵列。
图6中，光调制层上每四个调制单元为一组调制单元，每四个非调制单元为一组非调制单元，每组调制单元与每组非调制单元间隔分布。
图7中，光调制层上每个调制单元周围的8个位置均为非调制单元，不存在其他调制单元。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述光调制层中的每个调制单元均包括沿所述厚度方向设置的多个调制子单元，每个调制子单元为孔状结构或柱状结构。
具体地，本申请实施例中，光调制层中的每个调制单元均包括沿厚度方向设置的多个调制子单元。调制子单元可以为孔状结构，也可以为柱状结构。为孔状结构的调制子单元可以称为调制孔，为柱状结构的调制子单元可以称为调制柱。需要说明的是，同一调制单元中只能包含有调制孔或调制柱，不能同时包含有调制孔和调制柱，因此包含有调制孔的调制单元可以称为孔调制单元，包含有调制柱的调制单元可以称为柱调制单元。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，每个调制单元中为所述孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，
每个调制单元中为所述孔状结构的不同调制子单元的结构参数不完全相同。
具体地，本申请实施例中每个调制单元中不同的调制孔的孔截面形状可以相同、也可以完全不同或部分相同部分不同。也就是说，同一调制单元内的所有调制孔具有相同或不同的孔截面形状。每个调制单元中调制孔的结构参数也可以相同、也可以完全不同或部分相同部分不同。每个调制单元中不同的调制孔的孔截面形状是否相同不影响结构参数是否相同。孔截面形状包括圆形、椭圆形、十字形、正多边形、星形或矩形。结构参数可包括但不限于每个调制单元中调制孔的周期、半径、边长、占空比、厚度、长轴长度、短轴长度、旋转角度、或角数等参数。各个调制孔可以按照预设周期顺序逐行或逐列排布，或按照结构参数大小的渐变顺序呈阵列式排布。
由于调制单元中调制孔的孔截面形状不同和/或结构参数不同，均会对其调制作用产生影响，因此可以通过改变调制单元中调制孔的形状来改变其调制作用。结构参数的改变可以是改变上述任意组合的结构参数。
每个柱调制单元中调制孔的周期可以在50nm-800nm之间取值，占空比可以在5％-95％之间取值。调制孔的周期也可以在80nm-600nm之间取值，占空比也可以在10％-90％之间取值。
不同调制单元对光谱的调制作用不同，光谱调制作用可包括但不限于散射、吸收、透射、反射、干涉、表面等离子激元、谐振等作用。改变柱调制单元内的调制孔的结构参数(包括但不限于周期、半径、边长、占空比和厚度等参数中的一种或各参数的任意组合)和排列方式，即可改变调制作用，通过增加调制柱的数量可以提高对不同光谱之间差异的灵敏度。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，每个调制单元中为所述柱状结构的不同调制子单元的结构形状以及柱高度相同，且所有调制子单元在每个调制单元中的排列具有C4对称性。
具体地，每个柱调制单元包含若干调制柱，同一柱调制单元内的所有调制柱具有相同的结构形状，各个调制柱按照预设周期顺序逐行或逐列排布，具有C4对称性。同一柱调制单元内的所有调制柱高度均相同，不同柱调制单元的调制柱高度可以相同或不同。调制柱的结构参数可以包括高度、纵截面结构参数、横截面结构参数等。调制柱的结构形状可以如图8所示，包括但不限于圆柱体、立方体、圆台、圆锥、钟形等。调制柱的纵截面形状可以如图9所示，包括但不限于矩形、梯形、三角形、钟形等。调制柱的横截面形状包括矩形、圆形等。
调制柱的高度可以在100nm-400nm之间取值。对于圆柱形调制柱，调制柱的直径可以在10nm-300nm之间取值。对于立方体调制柱，调制柱的截面可以是正方形或矩形，边长可以在10nm-400nm之间取值。对于圆台形调制柱，调制柱的两个圆截面的直径可以在10nm-400nm之间取值。对于圆锥形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。对于钟形调制柱，调制柱的底面圆的直径可以在10nm-400nm之间取值。
在上述实施例的基础上，本申请实施例中提供的光谱成像芯片，所述柱状结构的调制子单元为一体成型，和/或层叠而成。
具体地，如图10所示，光谱成像芯片包括：光调制层110、图像传感层120和信号处理电路层130，光调制层110的调制单元包含有调制柱，该调制柱为一体成型。如图11所示，调制柱还可以由多层子调制柱堆叠而成，每层子调制柱的结构形状可以相同或不同，每层的子调制柱可为立方体、圆柱体等，每层子调制柱的材料可以相同或不同，可为金属或介质中的任意一种。图11中，调制柱由多层长方体层叠而成。
同一柱调制单元中可以只包含有一体成型得到的调制柱，也可以只包含有层叠而成的调制柱，还可以同时包含有一体成型以及层叠而成的不同调制柱。
在上述实施例的基础上，调制单元包括但不限于一维光子晶体、二维光子晶体、表面等离子激元、超材料、超表面等。具体材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
在上述实施例的基础上，在纵向上，光调制层可以包括沿厚度方向设置的至少一层子调制层，每层子调制层的材料可以相同，也可以不同，以增加光调制层对目标光束在频谱上的调制能力，使得对目标光束采样能力更强，有利于提高光谱恢复精度。光调制层纵向上可有以下四种情况。
1)如图12所示，偏振无关的光调制层为单一材料层，包括第一子调制层117，光调制层的厚度为60nm～1200nm。
2)如图13和图14所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。比如图13所示的实施例中，光调制层包括第一子调制层117和第二子调制层118；比如图14所示的实施例中，光调制层包括第一子调制层117、第二子调制层118和第三子调制层119。
3)如图15所示，偏振无关的光调制层110可以包括多层子调制层，各子调制层的材料不同。各子调制层的厚度为60nm～1200nm。其中一层或多层子调制层可以不被调制孔116贯穿。各子调制层的材料可包括硅、锗、锗硅材料、硅的化合物、锗的化合物、金属、III-V族材料等，其中硅的化合物包括但不限于氮化硅、二氧化硅、碳化硅等。
4)如图16所示，偏振无关的光调制层110是在背照式CIS晶圆的光探测层122上直接刻蚀结构进行制备的，刻蚀深度为60nm～1200nm。光调制层110的调制孔阵列可以是上述两种方案中的一种或任意组合。
在上述实施例的基础上，在纵向结构上，光调制层可以不被调制柱或调制孔贯穿，调制柱可以具有一定厚度，具体可以为60nm～1200nm，整个光调制层的厚度可以为120nm～2000nm。调制孔的厚度可以为160nm～1000nm，整个光调制层的厚度为220nm～1500nm。
在上述实施例的基础上，在纵向结构上，光调制层可由硅层和金层这两层不同材料构成，硅层的厚度可以为60nm～1200nm，金层的厚度可以为60nm～1200nm。
综上所述，本申请实施例中提供的光谱成像芯片有以下效果：1)该光谱成像芯片可以实现图像信息和光谱信息的采集，在提供完整图像信息的同时，还提供了视野内不同点的光谱信息。2)可以通过CMOS工艺一次流片完成光谱芯片的制备，有利于降低器件失效率，提高器件的成品良率，并降低成本。3)将光调制层与图像传感层单片集成，无分立元件，有利于提高器件的稳定性，极大促进图像传感器的小型化和轻量化。4)在晶圆级别实现单片集成，可以最大程度减小传感器与光调制层之间的距离，有利于缩小单元的尺寸，实现更高的分辨率并降低封装成本。
在上述实施例的基础上，本申请实施例中的图像传感层具体为CIS晶圆，CIS晶圆既可以是前照式也可以是背照式。如图17所示，为前照式CIS晶圆，前照式CIS晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121下方，CIS晶圆未集成微透镜和滤光片，光调制层直接集成到金属线层121上。金属线层121用于对晶圆接收到的光谱信号进行初步的信号处理，以将光信号数据先行转化为电信号，可以加快信号处理电路层的处理效率，使信号转化和信号运算处理更稳定和更精确。
如图18所示，为背照式CIS晶圆，背照式CIS晶圆包括沿图像传感层的厚度方向连接的光探测层122和金属线层121；光探测层122在金属线层121上方，CIS晶圆未集成微透镜和滤光片，光调制层直接集成到光探测层122上。由于目标光束经过光调制层后，直接照射到光探测层122，这样可以有效消除金属线层对目标光束的不利影响，提高光谱成像芯片的量子效率。
在上述实施例的基础上，如图19a图19b所示，光谱成像芯片还包括：透光介质层160，透光介质层160位于光调制层110与图像传感层120之间。图19中光调制层110的调制单元中包含有调制孔116，图20中光调制层110的调制单元中包含有调制柱1103。透光介质层160厚度为50nm～1μm，材料可为二氧化硅。若为直接沉积生长的工艺方案，可在图像传感层120上通过化学气相沉积、溅射、旋涂等方式覆盖该透光介质层160，然后在其上方进行光调制层的沉积、刻蚀即可。若为转移的工艺方案，则可在二氧化硅上先进行光调制层的加工，然后将这两部分整体转移到图像传感层120上。
值得一提的是，在一些应用场景中，使用所述光谱成像芯片及其对应的摄像模组或设备的目的是：为了获得被摄对象的具有相对较高成像质量的图像，例如，通过所述光谱成像芯片获得更接近被摄对象的实际色彩情况和实际纹理情况的图像。相应地，在这些应用场景中，所述信息处理方法的重点在于获取被摄对象的图像信息，再利用所获得的光谱信息对所获得的图像进行调整。
在这些应用场景中，优选地，所述光谱成像芯片所获得的所述被摄对象的图像信息是相对完整的且精确的，从而基于所述被摄对象的图像信息所生成的图像也是相对完整的且精确的，而相对地，所述光谱成像芯片所获得的所述被摄对象的光谱信息可以理解为用于辅助图像调整的辅助信息。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为0～25％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光频信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例不超过25％，这样，相对占据较小面积比例的所述调制单元1101能够获取用于图像调整的关于被摄对象的光谱信息，而相对占据较大面积比例的所述非调制单元1102可以确保获取足够多的光强信息从而还原出较高质量的图像，进而，再通过所获得的光谱信息对所述图像进行调整，以使得最终获得图像具有相对更高的成像质量，使得所述图像的成像效果更为真实。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择5％、10％、15％，20％等。本申请发明人通过测试发现，当所述面积比例为5％～15％时，所获得的最终图像的成像质量趋近甚至在算法的匹配下超过现有的基于CMOS和CCD成像芯片所采集的图像的成像质量。
此外，在另外一些应用场景中，期待所述光谱成像芯片获得相对较多的光谱信息，从而能够利用相对较多的光谱信息获得被摄对象的更为准确的特征或信息描述，同时，也期待所述光谱成像芯片所获得的图像信息不受过多的影响。
例如，当配置有所述光谱成像芯片的终端设备被应用于生物特征检测时(例如，虹膜识别、指纹识别等)，现有的生物特征识别方案，一般需要对待识别的虹膜或指纹进行成像以获得被摄虹膜和指纹的纹理信息，再将所获得的纹理信息与预设标准进行匹配，以实现识别功能。然而，在实际应用中，一些不法分子通过在假体上复制生物特征来进行破解，因此，在这些应用场景中，期待活体检测功能。而基于被摄对象的光谱信息便能够实现活体检测的功能。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为20～45％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例为20％～45％，这样，具有相对较大面积比例的所述非调制单元1102也能够确保获取足够多的光强信息从而还原出较高质量的图像，具有该面积比例的所述调制单元1101能够获取用于图像调整的被摄对象的光谱信息，进而，基于所述光谱信息去判断被摄对象是否活体。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择25％、30％、35％等。本申请发明人通过测试发现，当所述面积比例为25％～35％时，所述光谱成像芯片既能够获得高质量的生物特征图像，并且，其所获得的光谱信息也足以准确的判断被摄对象是否为活体。
此外，在另外一些应用场景中，期待获得被摄对象的图像信息和光谱信息的需求是相近的，例如，在一些应用场景中，首先需通过图像去识别或感知场景，再利用光谱信息对该场景进行光谱分析。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围为45～65％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，优选地，在这些应用场景中，所述光谱成像芯片中所述调制单元1101的总面积占所述光谱成像芯片的有效区域面积的比例为45％～65％，这样，比例大体与所述调制单元1101相当的所述非调制单元1102也能够确保获取足够多的光强信息从而还原出较高质量的图像，所述调制单元1101能够获取用于图像调整的被摄对象的光谱信息。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择55％、60％等。本申请发明人通过测试发现，当所述面积比例为50％～55％时，所述光谱成像芯片既能够获得高质量的生物特征图像，并且，其所获得的光谱信息也足以判断被摄对象是否为活体。也就是，更优选地，在这些应用实例中，所述面积比例为50％～55％。
此外，在另外一些应用场景中，对于所述光谱成像芯片的核心诉求为通过对被摄对象进行精确地光谱分析，以获得所需要的信息，进行基于所获得的信息进行定量或者定性分析。例如，通过所述光谱成像芯片对牛奶中蛋白质进行检验，对水果中的成分、酸度等进行检测、对水质进行监控等。在这些应用场景中，需要精确度更高的光谱信息而对被摄对象的图像信息的需求相对较低或者说基本上不需要。也就是，在这些应用场景中，被摄目标的图像信息仅作为辅助信息(例如，对一些突发状况进行监督)甚至是作为无用信息。
相应地，在这些应用场景中，优选地，所述光谱成像芯片的所述调制单元1101整体面积占所述光谱成像芯片的有效区域面积的范围大于60％，更优选地，在80％～95％之间，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。
值得一提的是，在这些应用场景中，所述调制单元1101的整体所占据的面积比例可根据实际情况作出设定与调整，例如，可选择85％、90％等。当然，在这些应用场景的具体示例中，该面积比例可大于95％，对此，并不为本申请所局限。
此外，在一些应用场景中，根据本申请的所述光谱成像芯片适于与光学元件相结合，以形成光学模组，其中，所述光学元件位于所述光谱成像芯片的感光路径上，用于对进入所述光谱成像芯片的光线进行调制。在具体示例中，所述光学元件，包括但不限于透镜(或者透镜组)、衍射元件、扩散元件(例如，毛玻璃等)。
本领域普通技术人员应知晓，对于以传统的CMOS成像芯片或者CCD成像芯片作为感光芯片的摄像模组而言，当光学镜头的视场角过大时(例如，超过75°时)，会导致所成的图像在其四个转角区域和/或边缘区域产生畸变，影响图像的成像效果。而在本申请实施例中，通过所述光谱成像芯片所获得的光谱信息并不应用于成像，也就是，图像畸变并不影响光谱信息的获取和分析。
优选地，在这些应用场景中，将所述光谱成像芯片的所述调制单元1101布置于所述光谱成像芯片的转角区域和/或边缘区域(也就是，将所述调制单元1101布置于所述光调制层110的转角区域和/或边缘区域)，而选择将所述光调制层110的所述非调制单元1102布置于所述光谱成像芯片的中间区域。这样，即不影响成像，又能够获得被摄对象的光谱信息。
值得注意的是，在这些应用场景中，所述光谱成像芯片的转角区域和边缘区域包括所述光谱成像芯片的有效区域的边缘和转角，以及，邻近于转角和边缘的部分区域。例如，在一个具体的示例中，可将离所述光谱成像芯片的中心轴的距离小于等于该方向的有效区域的距离总长的70％的区域定位为中心区域，而将有效区域的其他区域定义为边缘区域和转角区域。
此外，在一些应用场景中，期待所述光谱成像芯片能够获得被摄对象的精确更高的光谱信息。应可以理解，对于所述光谱成像芯片而言，不管是否配置光学元件，其中间区域所采集的信息的精确度是更高的。
因此，在这些应用场景中，优选地，将所述光谱成像芯片的所述调制单元1101布置于所述光谱成像芯片的有效区域的中间区域，这里，所述光谱成像芯片的有效区域表示所述光谱成像芯片中用于获取光谱信息和光强信息的区域。也就是，通过位置的调整来优化所述光谱成像芯片所采集的被摄对象的光谱信息的质量。在这些应用场景中，所述非调制单元1102可以环绕地布设于所述调制单元1101的周围。
值得一提的是，在根据本申请实施例的所述光谱成像芯片中，所述调制单元1101的疏密程度也会影响其成像质量和光谱分析。因此，本申请发明人还尝试找到适合的疏密程度来提高所述光谱成像芯片的性能。
具体地，在本申请的一个具体示例中，采用如下程度来定义稀疏度：首先，对所述光谱成像芯片的边长进行归一化处理，且以所述调制单元1101的几何中心表示对应的调制单元1101；接着，对所述调制单元1101对应的点进行从1到n进行编码，并以dij表示第i个调制单元1101的几何中心到第j个调制单元1101的几何中心之间的距离(如图26所示)，相应地，在该具体示例中，稀疏度A可以如下公式计算获得：
这里，值得一提的是，在上述定义过程中，如果相邻两个所述调制单元1101具有相同的结构，则可将这两个调制单元1101视为一个调制单元1101并以两个调制单元1101的几何中心标识该整合的调制单元1101，以利于计算。
在本申请实施例中，所述稀疏度的取值为大于0且小于等于1。优选地，所述稀疏度小于等于0.5。这里，当所述稀疏度的取值小于等于0.5时，所述光谱成像芯片的所述调制单元1101的布置密度相对较为稀疏，因此，所述调制单元1101对所述光谱成像芯片的成像影响较小，即，利于图像还原。尤其是，当所述稀疏度的取值为小于等于0.15时，所述光谱成像芯片可以被定义为稀疏式光谱成像芯片，其中，所述稀疏式光谱成像芯片的所述调制单元1101的布置密度相对较为稀疏，而对应的所述非调制单元1102的布置密度相对较高，通过这样的配置模式，所述光谱成像芯片可获得更多的且更为丰富的光强信息，以利于提高图像的成像质量。并且，还可以将所述稀疏式光谱成像芯片所采集的被摄对象的光谱信息与所述图像相整合，以提高所述图像的真实性。
在本申请的一些示例中，所述稀疏度也可以被设定为0.15至0.35之间。可以理解的是，如果所述光谱成像芯片的稀疏度过低，会导致光谱信息可能不完整或者准确度偏低，因此，可适当地提高所述稀疏度的值来提高光谱信息的密度，以提高光谱信息测量的精度。
在本申请的另外一些示例中，所述稀疏度的取值范围被设定为0.5至1之间(不包括0.5)。应可以理解，当所述光谱成像芯片的稀疏度取值较高时，所述光谱成像芯片的所述调制单元1101的布置密度较大，因此，所述光谱成像芯片可被更多地应用于光谱采集与分析的应用领域中。而相应地，所述光谱成像芯片所获得的图像可作为辅助信息来提高光谱信息的准确度。在这些示例中，优选地，所述光谱成像芯片的稀疏度的取值大于等于0.85，以确保有充足的光谱信息可使用。当然，在本申请的一些示例中，所述稀疏度的取值范围被设定为0.65至0.85，此时，所述光谱成像芯片能够采集到相对较为充分的光谱信息，同时，也能够得到一张较为合适用于辅助分析的图像，以辅助和/或配合完整光谱分析。
在一些实施例中，如图20-图25所示，光谱成像芯片100还包括：透镜140和滤光片150中的至少一种，透镜140和滤光片150中的至少一种连接在光调制层110的背离或靠近图像传感层120的一侧。
如图20所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的靠近图像传感层120的一侧，即透镜140位于光调制层110与图像传感层120之间。
如图21所示，该光谱成像芯片100集成了透镜140，且透镜140位于光调制层110的背离图像传感层120的一侧。
如图22所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的靠近图像传感层120的一侧，即滤光片150位于光调制层110与图像传感层120之间。
如图23所示，该光谱成像芯片100集成了滤光片150，且滤光片150位于光调制层110的背离图像传感层120的一侧。
如图24所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的背离图像传感层120的一侧，滤光片150位于透镜140与光调制层110之间。
如图25所示，该光谱成像芯片100集成了透镜140和滤光片150，且透镜140和滤光片150位于光调制层110的靠近图像传感层120的一侧，即透镜140和滤光片150位于光调制层110与图像传感层120之间，且滤光片150位于透镜140与图像传感层120之间。
如图1所示，基于本申请各实施例提出了一种光谱识别设备，该设备包括光源模块300和光谱成像芯片100。光源300用于向待成像对象200发射光谱，以使光谱经过待成像对象200反射后，作为目标光束射入光谱成像芯片100上。光谱成像芯片100与光源模块300同时设置在待成像物体200的同一侧。光源模块300产生的可见-近红外光的光谱能照射到待成像对象200内，并在反射作用下全部光谱形成射入光谱成像芯片100中的目标光束。该结构设置能够扩大检测空间，提高物体成像和识别的使用便利性。
可理解的是，本申请所述的光谱成像芯片100和光谱识别设备可对任一待成像对象200进行成像识别，只需根据成像需要，对光谱成像芯片100的各个调制单元111的体积以及入射光的对应波长等参数进行调整即可。
示例性光谱成像芯片的制备方法
图27图示了根据本申请实施例的所述光谱成像芯片的制备方法的再一个具体示例的示意图。这里，本申请所涉及的所述光谱成像芯片被应用于计算光谱仪，其中，计算光谱仪与传统光谱仪之间最显著的区别在于滤光的不同。在传统的光谱仪中，用于进行波长选择的滤光片为带通滤光片。光谱分辨率越高，就必须使用通带越窄和越多的滤光片，这增加了整个系统的体积和复杂度。同时，当光谱响应曲线变窄时，光通量下降，导致信噪比降低。
而对于计算光谱仪，每个滤光片均采用宽谱滤光片，这使得计算光谱仪系统探测到的数据看起来与原始光谱完全不同。然而，通过应用计算重建算法，原始光谱可以通过计算恢复。由于宽带滤光片比窄带滤光片有更多的光通过，因此，计算光谱仪可以从较暗的场景中检测光谱。此外，根据压缩感知理论，可以适当地设计滤光片的光谱曲线来高概率地恢复稀疏光谱，且滤光片的数量远小于期望的光谱通道数(从较低维向量恢复较高维向量)，这无疑是非常有利于小型化的。另一方面，通过使用更多数量的滤光片，可以使用正则化算法(由更高维向量获得降噪后的较低维向量)来降低噪声，这增加了信噪比并使得整个系统有更高的鲁棒性。
相对来讲，传统的光谱仪在设计的时候需要根据需要的波长去设计滤波器(其效果等同于光谱芯片的光调制结构)，使得特定波长的光可以透过(一般其设计为增强特定波长的入射光投射，而非特定波长波段的入射光无法投射，通过改变纳米盘等结构周期和直径可以控制共振条件，改变可增强投射的入射光中心波长，从而实现滤光特性)。也就是，传统的光谱仪在设计过程中需要重点控制光调制结构的尺寸和位置精度，同时需要想办法提高其特定波长的透过率。而对于计算光谱仪，需要的是可以接收较大范围的波段(例如，350nm至900nm)的光，因此，需要在设计的时候更加专注于折射率。
特别地，在本申请实施例中，所述光谱成像芯片以所述制备方法进行制备，以使得所述光谱成像芯片在其表面形成具有规则的晶向结构的光调制层，所述光调制层具有相对较大的折射率，以使得相对较大范围的波段的光能够被采集并利用。并且，在本申请实施例中，所述光调制层沿着其表面设有至少一调制单元和至少一非调制单元，其中，所述调制单元被配置为采集光频信息以获得被摄对象的光谱信息，所述非调制单元被配置为采集光强信息以获得被摄对象的图像信息。
如图27所示，根据本申请实施例的所述光谱成像芯片的制备过程，首先包括提供一光谱芯片半成品400，其中，所述光谱芯片半成品400包括图像传感层410和连接于所述图像传感层410的信号处理电路层420。
在该具体示例中，所述光谱芯片半成品400可以由厂家提供，也可以通过对现有的感光芯片进行加工获得。本领域普通技术人员应知晓，现有的感光芯片，例如，CCD感光芯片，CMOS感光芯片，其包括为微透镜层、彩色滤光层(这里，如果是黑白芯片的话，则不包括彩色滤光层)、图像传感层410和信号处理电路层420。相应地，可通过去除现有的感光芯片的微透镜层和彩色滤光层(如果是黑白芯片，则仅需去除微透镜层)，以得到所述光谱芯片半成品400。
如图27所示，在该具体示例中，所述光谱成像芯片的制备过程，进一步包括对所述光谱芯片半成品400的表面进行预处理，以在所述光谱芯片半成品400的表面形成用于结合具有目标转移层510的转移件500的平整结合面。
具体地，在该具体示例中，对所述光谱芯片半成品400的表面进行预处理的过程，包括：在所述光谱芯片半成品400的表面形成一可透光介质层430，其中，所述可透光介质层430由可透光材料制成，且具有相对较高的光透过率，以使得其不会影响光线进入所述光谱芯片半成品400。
值得一提的是，在具体实施中，虽然所述可透光介质层430需要相对较高的折射率，但所述可透光介质层430的折射率也不宜过高，其原因在于：需要确保所述可透光介质层430与位于其上的半导体结构层之间的折射率的差值。
在该具体示例中，所述可透光介质层430的制成材料优选为硅化物，例如，二氧化硅、氮化硅等。本领域普通技术人员应知晓，二氧化硅的折射率为1.45左右，氮化硅的折射率在1.9至2.3之间。
在具体实施中，所述可透光介质层430可通过诸如非金属气相沉积工艺形成于所述光谱芯片半成品400的表面，当然，在该具体实施的其他实施方式中，所述可透光介质层430还可以通过其他工艺形成，对于形成工艺，本申请不作限制。特别地，在该具体示例中，所述可透光介质层430的厚度尺寸并不为本申请所局限，其具体取值可根据应用场景的具体需求做出调整，一般情况下，其厚度尺寸小于等于300nm，在一些特殊场景下其甚至小于100nm，
如图27所示，优选地，所述可透光介质层430的上表面为平整表面，或者说，所述可透光介质层430的上表面中用于结合所述转移件200的部分具有相对较高的平整度，以利于将所述转移件200迁移到所述光谱芯片半成品400上。
值得一提的是，在该具体示例的一些情况中，所述光谱芯片半成品400的表面可能是非平整的，通过沉积工艺形成于所述光谱芯片半成品400的表面的所述可透光介质层430的上表面也可能是非平整的。因此，在该具体实施中，所述预处理过程，还包括：对所述光谱芯片半成品400的表现进行抛光打磨处理，和/或，对所述可透光介质层430的上表面进行抛光打磨处理。这里，抛光打磨工艺可以采取化学机械抛光工艺(chemical mechanicalpolish)，或者，其他能够使得表面平整度增加的工艺，对此，本申请不作限制。
值得一提的是，在该具体示例中，如果所述光谱芯片半成品400的表面平整度满足预设要求的话，也可以不在所述光谱芯片半成品400的表面设置所述可透光介质层430，即，不需要对所述光谱芯片半成品400进行预处理。
进一步地，如图27所示，所述光谱成像芯片的制备过程，进一步包括：提供一转移件500。特别地，在该具体示例中，所述转移件500选择为SOI器件(Silicon on insolation，绝缘体上的硅器件)，其自下而上依次包括：硅基底层511、硅化物层512和硅晶体层513，其中，所述硅晶体层513为所述待转移件500的目标转移层510，也就是，在该具体示例中，所述转移件500的目标转移层510位于所述转移件500的最上层。本领域普通技术人员应知晓，SOI器件为现有的元器件，采用现成元器件作为所述转移件500，这样一方面可以降低成本，另一方面，现有的器件其技术发展已经成熟，具有稳定的可预期的性能。当然，本申请实施例中的所述转移件500也可以为其他的类型的器件，例如，一硅棒、硅片或硅晶体和硅化物结合器件等。
并且，本领域普通技术人员应知晓，在所述SOI器件中，所述硅基底层511、所述硅化物层512和所述硅晶体层513中的原子的排布都是规则的，即，三者皆具有良好的晶向结构。优选地，在该具体示例中，所述硅晶体层513的表面为平整表面。
如图27所示，所述光谱成像芯片的制备过程，进一步包括：以转移件500的上表面键合于所述光谱芯片半成品400的所述可透光介质层430的上表面的方式，将所述转移件500耦接于所述光谱芯片半成品400。也就是，以所述SOI器件的所述硅晶体层513的表面键合于所述光谱芯片半成品400的所述可透光介质层430的上表面的方式，将所述SOI器件迁移至所述光谱芯片半成品400。
为了确保所述转移件500与所述光谱芯片半成品400之间的结合强度，优选地，在本申请实施例中，所述转移件500的上表面优选地与所述可透光介质层430的上表面具有良好的键合反应，以使得两表面在键合时能够产生良好的键合反应，产生更大的键合力。例如，在该具体示例中，将所述转移件500的上表面配置为与所述可透光介质层430具有相同的制成材料，从而两者在键合时能够产生良好的键合反应，产生更大的键合力。
以所述可透光介质层430为二氧化硅为例，应可以理解，在该具体示例中，所述转移件500的上表面由所述硅晶体层513的表面形成。因此，在该具体实施中，在将所述转移件500的上表面键合于所述可透光介质层430的上表面之前，进一步包括：对所述转移件500的上表面进行处理，以使得所述转移件500的上表面由二氧化硅材料制成。
在具体实施中，可采取将氧离子注入所述硅晶体层513的表面，以在所述硅晶体层513的表面部分形成一层二氧化硅层，以使得所述转移件500的上表面由二氧化硅形成。应可以理解，所述硅晶体层513具有规则的晶向结构，因此，所述二氧化硅层也具有规则的晶向结构，以利于提高其与所述可透光介质层430的键合效果。
当然，在本申请的其他实施方案中，还可以在所述硅晶体层513的表面叠置结合层520，其中，所述结合层520由二氧化硅材料制成，例如，通过非金属气相沉积工艺在所述硅晶体层513的表面叠置地形成所述结合层520，以通过所述结合层520提高所述转移件500与所述光谱芯片半成品400之间的结合强度。
值得一提的是，在该具体示例中，对所述转移件500的上表面进行处理的过程，也可以在提供所述转移件500的步骤中完成，对此，并不为本申请所局限。
如图27所示，所述光谱成像芯片的制备过程，进一步包括：暴露所述转移件500的所述目标转移层510，也就是，暴露所述转移件500的所述硅晶体层513。在该具体示例中，可采用机械研磨、化学机械抛光、腐蚀工艺中一种或几种工艺的组合来去除所述硅基底层511和所述硅化物层512，以使得所述转移件500的所述硅晶体层513被暴露。
值得一提的是，机械研磨效率高但是精度差，而化学机械抛光和腐蚀工艺的效率低但是精度高，因此，在该具体示例中，优选地，先采用机械研磨抛光对所述硅基底层511和所述硅化物层512进行第一阶段的处理，接着，以化学机械抛光或者腐蚀工艺对所述硅基底层511和所述硅化物层512进行第二阶段的处理，以兼顾效率和精度。
特别地，在本申请实施例中，所述硅晶体层513的折射率在3.42左右，所述硅晶体层513与所述可透光介质层430之间的折射率之差大于等于0.5，优选地，大于等于0.7。
特别地，在该具体示例中，所述光谱芯片对所述硅晶体层513的厚度有一定的要求，所述硅晶体层513的厚度尺寸范围在5nm至1000nm，优选地为50nm至750nm，该厚度有利于厚度对所述硅基底层511的加工，以使得所述光谱芯片的成像效果得以优化和保证。更优选地，所述硅晶体层513的厚度尺寸为150nm至250nm之间。
相应地，在该具体示例中，为了满足厚度要求，在去除所述硅基底层511和所述硅化物层512的过程中，进一步包括去除所述硅晶体层513的一部分，以使得所述硅晶体层513的厚度尺寸满足预设要求。
如图27所示，所述光谱成像芯片的制备过程，进一步包括：在暴露的所述硅晶体层513上形成光调制层501，这样，在外界成像光线通过光调制层501进入所述光谱成像芯片的内部时，所述光调制层501能够对成像光线进行调制，以提取和利用成像光线中的光频信息和光强信息。
具体地，在本申请实施例中，在暴露的所述硅晶体层513层形成所述光调制层501的过程，包括：首先，在所述硅晶体层513上施加光刻胶，然后，以具有特定图案的掩模对所述光刻胶进行曝光；接着，通过蚀刻工艺基于所述掩模的特定图案去除所述硅晶体层513的预定部分和所述光刻胶，其中，没有被蚀刻的所述硅晶体层513形成光调制层501。
如图27所示，在本申请实施例中，所述光调制层501包括形成于其中间区域的调制单元5010和环绕地形成于所述调制单元5010周围的非调制单元5011。也就是，在本申请实施例中，所述光调制层501的所述调制单元5010位于所述光调制层501的中间区域，其非调制单元5011位于所述光调制单元5010的周围。应可以理解，在本申请其他示例中，所述光调制层501的调制单元5010和非调制单元5011还可以以其他样式进行布局，对此，并不为本申请所局限。
特别地，每个所述调制单元5010可以是微纳结构单元，用于对进入所述光谱成像芯片的光束进行调制，每个非调制单元5011不具有调制能力，无法对目标光束进行调制，而是直接使成像光线透过。并且，在本申请实施例中，每个所述调制单元5010分别对应所述图像传感层410的至少一个传感单元4101，其中，成像光线在经过所述调制单元5010的调制后抵达对应的所述传感单元4101，所述传感单元4101用于获取成像光线中的光频信息。同时，每个所述非调制单元5011同样对应于所述图像传感层410的至少一个传感单元4101，其中，成像光线在透过所述非调制单元5011后抵达对应的所述传感单元4101，所述传感单元4101用于获取成像光线中的光强信息。值得一提的是，不同的调制单元5010对不同波长光调制作用可能相同也可能不同，可以根据需要进行设定，本方面实施例中对此不作具体限定。
特别地，在该具体示例中，所述光调制层501的折射率为1至5之间，且，所述光调制层501的折射率与所述可透光介质层430的折射率之差大于等于0.5，优选地，大于等于0.7，这样，相对较大范围波长的光能够在通过所述光调制层501后透过所述可透光介质层430并所述光谱芯片的所述图像传感层410。
值得一提的是，在该具体示例中，所述转移件500的所述硅晶体层513内的原子具有规则的晶向分布，并且，在通过如上所述的制备方法被迁移到所述光谱芯片半成品400的表面时，所述硅晶体层513的内部结构并没有发生改变。因此，根据该具体示例所揭露的制备方法所制得的所述光谱芯片，具有形成其表面的具有较优晶向排布的光调制层410。
如图27所示，在本申请实施例中，所述光谱成像芯片的制备方法，进一步包括：在所述光调制层501的非调制单元5011处形成滤光层600，以使得在成像光线通过所述非调制单元5011时，所述滤光层600能够对进入所述图像传感层410的传感单元4101进行滤色处理，以获取所述成像光线中特定波段的光强信息。这里，所述滤光层600可被实施为拜耳滤镜层。
特别地，在本申请一些特殊的示例中，所述滤光层600的厚度与所述光调制单元5010的厚度相近或者相等，以使得所述光调制层501和所述滤光层600形成相对较为平整的表面。
个别实施例中，所述光谱成像芯片并不需要形成滤光层600，此时，可选地对于非调制单元5011不进行处理，其被实施为硅晶体层513，光可以直接透过非调制单元5011。
如图27所示，在本申请实施例中，所述光谱成像芯片的制备方法，进一步包括：在所述光调制层501和/或所述滤光层的上表面上形成微透镜层700，其中，所述微透镜层700包括多个微透镜单元，用于对进入所述光调制层501和所述滤光层600的成像光线进行会聚。
值得一提的是，在本申请实施例中，所述光谱成像芯片的制备方法也可以不在所述光调制层501和/或所述滤光层的上表面上形成微透镜层700，也就是，在本申请一些示例中，所述光谱成像芯片不包括所述微透镜层700，对此，并不为本申请所局限。
综上，基于该具体示例的所述光谱成像芯片及其制备方法被阐明，其以特定的制备方法将具有较优晶向排布的硅晶体层513迁移到光谱芯片半成品400的表面，以使得最终制得的所述光谱成像芯片的表面具有较优晶向排布的光调制层501。
图28图示了根据本申请实施例的所述光谱成像芯片的制备方法的一个变形实施的示意图。如图28所示，在该变形实施中，在将所述转移件500通过键合工艺迁移到所述光谱芯片半成品400之前，对所述转移件500的所述硅晶体层513进行预处理，以形成所述光调制层501，其中，所述光调制层501的厚度为200-1000nm，优选地为350-600nm。相应地，在后续暴露所述硅晶体层513时，所述光调制层501也同步地被暴露。
也就是，相较于图27所示意的制备方案，在该变形实施例中，先在所述转移件500上预制所述光调制层501，或者说，将形成所述光调制层501的工序往前调整。
Claims (33)
1.一种光谱成像芯片，其特征在于，包括：
图像传感层，包括多个传感单元；以及
位于所述图像传感层的感光路径上的光调制层，所述光调制层包括至少一调制单元和与所述至少一调制单元相间隔的至少一非调制单元，其中，每个所述调制单元沿着所述感光路径对应于至少一所述传感单元，每个所述非调制单元沿着所述感光路径对应于至少一所述传感单元；
其中，所述光调制层的调制单元被配置为对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
2.根据权利要求1所述的光谱成像芯片，其中，所述至少一调制单元和所述至少一非调制单元位于同一平面。
3.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于0且小于等于25％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
4.根据权利要求3所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于5％且小于等于15％。
5.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于45％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
6.根据权利要求5所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于25％且小于等于35％。
7.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于45％且小于等于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
8.根据权利要求7所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于50％且小于等于55％。
9.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于60％，其中，所述光调制层的有效区域为所述光调制层的调制单元和非调制单元所设定的区域。
10.根据权利要求9所述的光谱成像芯片，其中，所述光调制层的调制单元的面积占所述光调制层的有效区域的面积的比例为大于等于80％且小于等于95％。
11.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的非调制单元位于所述光调制层的边缘区域或者所述光调制层的中间区域。
12.根据权利要求1所述的光谱成像芯片，进一步包括形成于所述光调制层的非调制单元处的滤光层。
13.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的稀疏度大于0且小于等于0.5。
14.根据权利要求13所述的光谱成像芯片，其中，所述光调制层的稀疏度大于0且小于等于0.15。
15.根据权利要求2所述的光谱成像芯片，其中，所述光调制层的稀疏度大于等于0.5且小于1。
16.根据权利要求15所述的光谱成像芯片，其中，所述光调制层的稀疏度大于等于0.85且小于1。
17.根据权利要求1所述的光谱成像芯片，进一步包括：电连接于所述图像传感层的信号处理电路层。
18.根据权利要求12所述的光谱成像芯片，进一步包括：形成于所述滤光层和/或所述光调制层的调制单元的微透镜层。
19.根据权利要求1所述的光谱成像芯片，进一步包括：一体成型于所述图像传感层的可透光介质层，其中，所述可透光介质层的上表面为平整表面。
20.根据权利要求19所述的光谱成像芯片，其中，所述光调制层一体地结合于所述可透光介质层。
21.根据权利要求20所述的光谱成像芯片，其中，所述光调制层与所述可透光机制层的折射率之差大于等于0.5。
22.根据权利要求20所述的光谱成像芯片，其中，所述光调制层通过结合层一体结合于所述可透光介质层，所述可透光介质层与所述结合层相键合。
23.根据权利要求22所述的光谱成像芯片，其中，所述可透光介质层与所述结合层具有相同的制成材料。
24.根据权利要求2所述的光谱成像芯片，其中，每个所述调制单元包括沿着所述感光路径分设置的多个调制子单元。
25.根据权利要求24所述的光谱成像芯片，其中，每个所述调制子单元具有孔状结构或柱状结构。
26.根据权利要求25所述的光谱成像芯片，其中，每个所述调制单元中具有孔状结构的不同调制子单元的孔截面形状不完全相同；和/或，每个所述调制单元中具有孔状结构的不同调制子单元的结构参数不完全相同。
27.一种适于光谱成像芯片的信息处理方法，其特征在于，包括：
获取来自光谱成像芯片的调制层中每个调制单元对应的像素点的频谱信息以及所述调制层中每个非调制单元对应的像素点的光强信息；以及
基于每个所述调制单元对应的像素点的频谱信息，确定被摄对象的光谱信息，以及基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
28.根据权利要求27所述的适于光谱成像芯片的信息处理方法，其中，所述光调制层的调制单元被配置为对进入其所对应的所述像素点的成像光线进行调制，其所对应的所述像素点适于获取该成像光线的频谱信息；其中，所述光调制层的非调制单元被配置为不对进入其所对应的所述传感单元的成像光线进行调制，其所对应的所述传感单元适于获取该成像光线的光强信息。
29.根据权利要求28所述的适于光谱成像芯片的信息处理方法，其中，所述光调制层的调制单元位于所述光调制层的中间区域或者所述光调制层的边缘区域。
30.根据权利要求28所述的适于光谱成像芯片的信息处理方法，其中，基于每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：
基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息；
基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息。
31.根据权利要求30所述的适于光谱成像芯片的信息处理方法，其中，基于每个所述调制单元周围的至少一个所述非调制单元对应的像素点的光强信息，确定每个所述调制单元对应的像素点的拟合光强信息，包括：
基于平滑滤波方法，对任一所述调制单元周围的至少一个非调制单元对应的像素点的光强信息进行滤波处理，得到任一所述调制单元对应的像素点的拟合光强信息。
32.根据权利要求31所述的适于光谱成像芯片的信息处理方法，其中，基于每个所述调制单元对应的像素点的拟合光强信息和每个所述非调制单元对应的像素点的光强信息，确定所述被摄对象的图像信息，包括：
将基于所有所述非调制单元对应的像素点的光强信息得到的初始图像输入至拟合模型，得到由所述拟合模型输出的所述被摄对象的图像信息；
其中，所述拟合模型基于对抗神经网络构建，所述拟合模型基于存在空白像素的空缺样本图像以及所述空缺样本图像对应的不存在空白像素的完整样本图像标签训练得到。
33.根据权利要求32所述的适于光谱成像芯片的信息处理方法，其中，所述拟合模型的训练过程，包括：
基于空缺样本图像以及所述空缺样本图像对应的完整样本图像标签对所述对抗神经网络中的生成器进行训练，并基于所述对抗神经网络中的鉴别器对训练后的生成器进行竞争鉴别；以及
将训练得到的生成器作为所述拟合模型。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2021/124298 WO2022105506A1 (zh) | 2020-11-18 | 2021-10-18 | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 |
| US17/527,441 US11620849B2 (en) | 2020-11-18 | 2021-11-16 | Spectral imaging chip and apparatus, information processing method, fingerprint living body identification device and fingerprint module |
| TW110142844A TWI798940B (zh) | 2020-11-18 | 2021-11-17 | 光譜成像晶片及訊息處理方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011295429X | 2020-11-18 | ||
| CN202011295429 | 2020-11-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114518168A true CN114518168A (zh) | 2022-05-20 |
Family
ID=81595082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110161799.2A Pending CN114518168A (zh) | 2020-11-18 | 2021-02-05 | 光谱成像芯片及其制备方法和信息处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114518168A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023193785A1 (zh) * | 2022-04-08 | 2023-10-12 | 北京与光科技有限公司 | 光谱模组和光谱芯片的工作方法 |
| WO2024041354A1 (zh) * | 2022-08-25 | 2024-02-29 | 上海与光彩芯科技有限公司 | 光谱成像恢复方法及装置 |
-
2021
- 2021-02-05 CN CN202110161799.2A patent/CN114518168A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023193785A1 (zh) * | 2022-04-08 | 2023-10-12 | 北京与光科技有限公司 | 光谱模组和光谱芯片的工作方法 |
| WO2024041354A1 (zh) * | 2022-08-25 | 2024-02-29 | 上海与光彩芯科技有限公司 | 光谱成像恢复方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11443550B2 (en) | Face recognition monitoring system based on spectrum and multi-band fusion and recognition method using same | |
| CN111490060A (zh) | 光谱成像芯片及光谱识别设备 | |
| WO2022105506A1 (zh) | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 | |
| US11379967B2 (en) | Methods and systems for inspection of semiconductor structures with automatically generated defect features | |
| CN114518168A (zh) | 光谱成像芯片及其制备方法和信息处理方法 | |
| CN110381243B (zh) | 一种图像采集芯片、物体成像识别设备及物体成像识别方法 | |
| US11159753B2 (en) | High dynamic range optical sensing device employing broadband optical filters integrated with light intensity detectors | |
| KR20200101851A (ko) | 칩 상의 분광계 | |
| US10404908B2 (en) | Optical systems and methods supporting diverse optical and computational functions | |
| WO2022166189A1 (zh) | 光人工神经网络智能芯片及制备方法 | |
| US20220336511A1 (en) | Spatial Phase Integrated Wafer-Level Imaging | |
| CN211828773U (zh) | 光谱成像芯片及光谱识别设备 | |
| US20220344381A1 (en) | Micro spectrum chip based on units of different shapes | |
| CN108831898A (zh) | 一种固态多光谱传感器 | |
| US5712729A (en) | Artificial retina cell, artificial retina and artificial visual apparatus | |
| CN117157762A (zh) | 光谱成像芯片和设备及信息处理方法、以及指纹活体识别装置和指纹模组 | |
| CN210112118U (zh) | 一种图像采集芯片及物体成像识别设备 | |
| CN113408545B (zh) | 一种基于微光学器件的端到端光电检测系统及方法 | |
| JP2023535426A (ja) | 異なる形状のユニットに基づくマイクロスペクトルチップ及びマイクロスペクトルチップにおけるマイクロナノ構造アレイの生成方法 | |
| CN114463790A (zh) | 光学指纹识别和防伪的方法及系统 | |
| CN114519872A (zh) | 指纹活体识别装置以及指纹模组 | |
| Gruev et al. | Nano-wire dual layer polarization filter | |
| CN118158507A (zh) | 图像采集芯片、物体成像识别设备及物体成像识别方法 | |
| DA SILVA et al. | A study on CMOS image sensor with optical filter-less UV-selective capability using differential spectral response method | |
| CN117635678A (zh) | 分区域光谱芯片的光强信息提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |