CN117214121A - 使用空间上分离的光谱阵列的成像系统 - Google Patents

Abstract

一种用于成像的系统包含具有相应顶部表面和相应底部表面的光学传感器阵列，以及第一多组光学滤波器，所述第一多组光学滤波器中的每一组光学滤波器与所述阵列的一组相应光学传感器相关联。所述系统进一步包含第二多组光学滤波器，所述第二多组光学滤波器的每一组光学滤波器与所述阵列的一组相应光学传感器相关联，所述第二多组光学滤波器中的一组光学滤波器的每一光学滤波器被配置成使相应波长范围的光通过，其中所述第二多组光学滤波器跨所述光学传感器阵列的所述顶部表面空间上散置。最后，所述系统包含一个或多个处理器，其适于基于来自所述阵列的第一多组光学传感器的输出对场景的图像进行取样，且针对所述阵列的第二多组光学传感器中的每一组光学传感器对所接收光光谱进行取样。

Description

使用空间上分离的光谱阵列的成像系统

技术领域

本发明大体涉及数字成像，且更具体地说涉及使用光谱传感器及基于干涉的滤波器补偿光源失真。

背景技术

数字成像一直对相机技术的质量和可用性具有深刻的影响。同时，相机消费者的期待变得越来越高，尤其是对于嵌入于现代智能手机中相机。通过检测和/或获取与多个波长范围相关的入射光而起作用的光谱装置可用于提供光谱信息来辅助相机功能。例如法布里-珀罗(Fabry-Perot)滤波器等基于干涉的滤波器当结合光谱传感器使用时已经展示能够提供可用于增加相机性能和功能性的信息。

附图说明

图1提供根据本发明的实例光学传感器与滤波器覆叠的自上向下图示；

图2A提供根据本发明的并入有光谱宏像素的实例成像阵列的自上向下图示；

图2B-2E提供根据本发明的并入有光谱宏像素的实例个别成像结构的自上向下图示；

图3提供根据本发明的并入有空间上分离的光谱宏像素的实例成像阵列的另一自上向下图示；

图4A提供根据本发明的并入有实例光谱宏像素的滤波器马赛克的实例成像阵列的另一自上向下图示；

图4B提供根据本发明的并入有实例光谱宏像素的空间上分离的部分光谱马赛克的实例成像阵列的另一自上向下图示；

图4C提供示出根据本发明的并入有空间上分离的光谱宏像素的成像阵列的实施方案的图像；

图5提供根据本发明的并入有高分辨率成像器及光谱子阵列的实例成像系统的框图；

图6A是示出根据本发明用于使用空间上分离的宏像素校正图像数据的实例方法的流程图；

图6B是示出根据本发明用于使用空间上分离的宏像素校正图像数据的实例方法的流程图；

图7提供根据本发明的并入有红外(IR)成像器和光谱成像器的认证系统的框图；

图8A提供根据本发明的适于认证的移动装置的实例；

图8B提供根据本发明用户实施相机或成像机制以用于认证的实例；以及

图9是根据本发明用于使用泛光和结构化红外(IR)照明及光谱成像器来认证用户的方法的流程图。

具体实施方式

在各种实施例中，图像传感器与例如基于干涉的干涉滤波器等光谱滤波器组合以提供关于场景和/或光源的光谱信息。在一些实施例中，可执行场景的光谱成像，且在其它实施例中，场景的光谱成像可在单个成像器或收集图像之后组合的单独的成像器中与高分辨率成像组合。在另外的实施例中，基于干涉的滤波器可使用法布里-珀罗滤波器与例如基于CMOS的传感器、有机薄膜传感器或有机光导文件(OPF)传感器等图像传感器集成来实施，其中每一组干涉滤波器对准到至少一组光学传感器，使得每一组光学传感器能够以多个通道感测定位带通响应以提供小规模光谱图像传感器系统。在一些实施例中，小规模光谱成像系统可适于在需要图像校正和/或图像增强的应用中使用。应用的实例包含(但不限于)智能手机、高分辨率相机、摄像机、安全相机、校准系统、检查系统和某些工业应用。

图1提供光谱传感器及以9条光谱带的3×3图案设置的滤波器的自上向下图示，每一条光谱带跨成像器阵列。在实例中，例如法布里-珀罗滤波器等具有不同中心波长的带通滤波器作为跨阵列重复的马赛克结构跨光谱传感器图案化。在其它实施例中，3×3滤波器图案可被例如2×2图案、4×4滤波器图案、5×5滤波器图案或3x4图案等其它图案代替，如分辨率和/或制造要求所指示。在一实例中，滤波器的3×3图案提供9个不同腔厚度，其接着跨实例传感器阵列重复。在图1的实例中，9个滤波器厚度(示出为滤波器50A-50H等)中的每一个跨传感器10上的光学像素的12x9阵列重复12次。

在基于图1的传感器系统中，传感器10的光学像素安置在集成电路上，其中多组干涉滤波器制造在光学像素的顶部上。在一实例中，一组九(9)个干涉滤波器50A-50I布置成马赛克图案，其中的每一个被配置成使不同波长范围内的光通过。在一实例中，每一组干涉滤波器对准到至少一组光学传感器，使得每一组光学传感器能够以多个通道感测定位带通响应。所述组光学传感器和滤波器布置接着跨阵列重复，从而使光学传感器阵列能够提供多个测得的跨图像传感器的不同区域空间上分离的光谱。如本文中所使用，个别光学传感器对应于一像素(像素＝最小可寻址元素)，相应地，“光学传感器”、“光学像素”和“像素”可互换地使用。

在一实例中，图1的图像传感器可提供图像传感器的不同空间区域的光信息，从而允许校正和或增强扩展到那些区域中的每一个。在实施方案的实例中，用于使场景成像的传感器系统可包括集成电路上的多个光学传感器，以及多组干涉滤波器，例如图1的滤波器元件50A-50I。在实例中，所述多组干涉滤波器的每一组干涉滤波器可包含以某一图案布置的多个干涉滤波器，其中所述多个滤波器的每一干涉滤波器被配置成使不同波长范围内的光通过。在一实例中，所述多个干涉滤波器的每一组干涉滤波器与场景的空间区域相关联，且因此可确定场景的每一空间区域的光谱响应。

在参看图1的实施方案的实例中，多组干涉滤波器中的一组干涉滤波器可与所述多组干涉滤波器中的其它组干涉滤波器空间上分离，且在另一实例中，所述多组干涉滤波器中的每一组干涉滤波器可在传感器10的所述多个光学传感器之间随机地间隔。

图2A提供并入有光谱宏像素的实例成像阵列的自上向下图示。在实施和操作的实例中，具有传感器10的成像系统可并入有例如图2A中所示出的结构等结构以提供光谱信息，同时使光谱信息收集对成像系统的空间分辨率的影响最小化。在实例中，所谓的“稀疏”光谱仪可用于通过使稀疏光谱仪在例如红绿蓝(RGB)滤波器、UV光传感器或3D传感器等标准光学传感器之间分散来提供恰当的空间和光谱分辨率。在一实例中，光谱仪可包括形成光谱宏像素的一组光谱滤波器，所述光谱宏像素是较大空间宏像素的一部分。

在实例中，宏像素60同传统成像像素与滤波器54A-54E覆叠相关联。在实例中，成像器包含标准成像滤波器马赛克的阵列，其中至少一些马赛克并入有滤波器54A-54E以提供彩色图像，每一成像马赛克与占据4个标准滤波器元件的空间的单个光谱宏像素60相关联。在一实例中，每一光谱宏像素60可提供与滤波器54A-54E相关联的像素的近侧的空间区域的多通道光谱响应。在特定实例中，滤波器54A-54E可包括用以提供红绿绿蓝蓝(RGGBB)成像单元的滤波器，而光谱宏像素60可提供由RGGBB成像单元成像的空间区域的多通道光谱响应。在另一特定实例中，滤波器54A-54E中的每一个可包括不同的滤波器或透明通道(白色像素)以提供多通道成像单元，而光谱宏像素60可提供由多通道成像单元成像的空间区域的多通道光谱响应。应注意，术语“光谱宏像素”、“光谱像素内核”和/或“光谱内核”在本文内可互换使用。

图2B-2E提供并入有光谱宏像素的实例个别成像结构的自上向下图示。在图2B中，标准红绿蓝(RGB)成像器设置在利用滤波器54A-54E的结构中，其中光谱宏像素62位于成像像素的近侧。在实例中，一个或多个光学传感器与滤波器54A相关联以提供例如红色像素，而滤波器54B和滤波器54D可被配置成提供例如两个绿色像素，其中滤波器54C和54E被配置成提供蓝色像素。在相关实例中，一个或多个滤波器54A-E是白色滤波器(全通滤波器)或深度像素(例如被配置成用于基于时间的深度分辨率的一个或多个像素)。

在图2C中，宏像素64以利用滤波器56A-56E的结构配置，其中56A-56E中的每一个适于提供不同成像范围。图2D中，成像马赛克被配置成使得宏像素66以围绕成像单元的外围的结构设置。在一实例中，使用滤波器元件58A-58D提供红绿绿蓝成像单元，而滤波器58B和滤波器58D适于近似绿色像素。

图2E中，宏像素68邻近于成像单元的(四)4个像素配置。在一实例中，滤波器元件52A-52D被配置成提供具有4个不同成像波长的图像单元，而宏像素68被配置成提供与图像单元相关联的图像传感器的空间区域的多通道光谱响应。

在实施和操作的相关实例中，一个或多个光谱宏像素可稀疏地散置于例如图2A的传感器10等传感器中。在特定实例中，需要图像传感器的有限和/或特定空间区域中的相对较高光谱分辨率的成像应用可以例如与单个光谱宏像素相关联的多个红绿绿蓝(RGGB)成像单元等多个成像单元实施。在又一实例中，当应用预期光谱信息的相对变化(例如正被成像的场景的小区域的光谱信息)或场景的预分类指示要求或需要光谱信息时，可在例如图2A的传感器10等图像传感器的仅一些空间区域中按需要/要求提供光谱宏像素。在相关实例中，光谱宏像素在图像传感器上呈规则图案，而在替代实例中，光谱宏像素跨图像传感器以具有不同间隔/密度的不规则图案设置。

图3提供并入有空间上分离的光谱宏像素的实例成像阵列的另一自上向下图示。在实例中，宏像素60-1到60-N跨图像传感器10以规则图案设置。在特定实例中，宏像素60-1到60-N各自包括提供大体上相同的波长光谱的光谱滤波器马赛克。在替代实例中，宏像素60-1到60-N各自被配置成提供完全波长光谱的仅一部分。

在替代实例中，例如宏像素60-1到60-N中的任一个等光谱微像素放置在图像传感器的一个或多个外围侧上以提供成像阵列外部的光谱测量。在特定相关实例中，可利用外围微像素来提供正被成像的场景的更广区域的漫射测量。在实施和操作的另一特定实例中，成像阵列的外围上的光谱内核被配置成提供用于测量环境光温度的信息。在又一相关实例中，图像传感器的感测模式包含使用光谱内核的配置，其适于提供用于测量场景或场景中的对象的漫射光谱的信息。

图4A提供并入有光谱宏像素的实例成像阵列的一部分的自上向下图示。在实例中，宏像素马赛克72被配置成提供波长光谱的16个波长范围。在实例中，宏像素马赛克72被配置成占据图像传感器的原本会提供图像传感器的像素(例如红绿绿蓝(RGGB)传感器的4个像素)的区域。在所提供的实例中，与滤波器元件84A-84D相关联的8个成像单元随宏像素马赛克72跨成像传感器重复。在一实例中，图4A的阵列在成像传感器上重复，使得宏像素马赛克72跨成像传感器的空间区域重复。

在一实例中，宏像素马赛克72包括针对波长λ₁-λ₁₆的光学传感器，其中与λ₁-λ₁₆中的每一个相关联的光学传感器被配置成提供针对宏像素处入射光的不同波长的滤波器响应。在一实例中，针对与λ₁-λ₁₆中的每一个相关联的光学传感器的组合滤波器响应被配置成提供所要光谱范围的光谱输出。

在参看图4A的特定实例中，由滤波器λ9-λ12透射的波长包含与滤波器84A相关联的范围中的波长，波长λ5-λ8包含与滤波器84B相关联的范围中的波长，波长λ13-λ6包含与滤波器84C相关联的范围中的波长，且波长λ1-λ4包含与滤波器84D相关联的范围中的波长，使得宏像素马赛克72提供与84A-84D相关联的波长范围中的光的透射。相应地，宏像素马赛克72可用于提供由滤波器84A-84D透射的波长的较精确(较细粒度)彩色成像。在一实例中，滤波器54A-54D分别对应于红绿绿蓝(RGGB)传感器。

图4B提供并入有实例光谱宏像素的空间上分离的部分光谱马赛克的成像阵列的自上向下图示。在实例中，宏像素74-1到74-4中的每一个被配置成提供针对例如完全波长光谱等光谱范围的一部分的滤波器响应。在实例中，宏像素部分马赛克74-1到74-4中的每一个配置有例如来自图2A的图像传感器10等图像传感器上正收集的波长的一部分。

在实施和操作的特定实例中，图4B的一些成像滤波器部分地由针对波长λ1-λ16的光谱滤波器代替，使得光谱滤波器的滤波器波长被配置成代替在与其所代替的成像滤波器相关联的波长范围中透射光的成像滤波器。

在实施和操作的特定实例中，图像传感器配置有稀疏分布的光谱像素内核的阵列。光谱像素内核包含一组光谱滤波器，其各自被配置成测量针对用于使场景成像的图像传感器的每一局部部分的光谱响应。在特定实例中，光谱像素内核形成跨例如图2A的传感器10等图像传感器的光谱仪阵列。在一实例中，不包含在光谱像素内核中的像素被配置成在正常/标准成像模式中使光通过。

在另一实例中，稀疏分布的光谱像素内核的空间配置适合与给定成像系统的预定光学件一起使用。在一实例中，一组光谱像素内核跨图像阵列稀疏地重复，使得重复的光谱内核的几何配置适于(一个或多个)成像透镜的对称性质。

在实施和操作的另一特定实例中，一个或多个光谱滤波器内核适于包含被配置成提供针对光波长的光谱的滤波器响应的一组紧密对准的光谱滤波器。在一实例中，适于包含一组紧密对准的光谱滤波器的光谱滤波器内核跨成像阵列稀疏地分布。在实施和操作的又一特定实例中，适于提供针对波长光谱的不同相对细粒度部分的滤波器响应的一些光谱滤波器内核跨成像阵列稀疏地分布且一起提供完全波长光谱。

在另一实例中，不同光谱滤波器被配置成跨成像阵列稀疏地分布(即，彼此不邻近)。在一实例中，接着通过组合跨阵列的若干稀疏分布的滤波器来实现光谱测量。相应地，在实例中，一个或多个光谱内核跨阵列分布在不同非邻近部分中。在特定相关实例中，一起形成具有非邻近光谱带的光谱内核的滤波器的超集可自身重复，使得具有非邻近光谱带的多个光谱内核跨成像阵列分布。

在实施和操作的另一特定实例中，光谱内核可适于在使场景成像时形成局部点测量。举例来说，一组光谱内核可被配置成形成局部成像内核，其中光谱内核中的每一个进一步被配置成使正被成像的场景的一部分成像。

在实施方案的一实例中，用于分辨率成像(成像像素)的像素可为全色像素(对可见光谱中的所有颜色敏感)。在另一实施实例中，用于分辨率成像的像素可含有例如吸收RGB滤波器、UV滤波器、干涉滤波器、等离子滤波器、纳米结构滤波器、偏光滤波器或其它滤波器类型等彩色滤波器。

在实施方案的另一特定实例中，稀疏分布的光谱内核设置于异构图像传感器上。在实例中，图像传感器以成像像素的不同群组配置，其中不同群组的光谱内核在图像传感器内相对稀疏或密集地表示。在又一特定实例中，成像阵列和/或图像传感器可包括单色成像像素和3D感测像素的组合。在又一特定实例中，光谱内核可包含干涉滤波器。在另一实例中，滤波器阵列下方的一些光学传感器适于感测短波红外(SWIR)光。在又一实例中，滤波器阵列下方的一些光学传感器适于自动聚焦。

在实施和操作的特定实例中，图像传感器被配置成用于三维(3D)图像感测。在一实例中，正常成像模式可以是被配置成用于结构光成像的模式。在另一实例中，正常成像模式可以是被配置成用于飞行时间成像的模式。在实施方案的特定实例中，3D感测操作使用近红外光谱(NIR)光。在另一特定实例中，3D感测操作适合于面部辨识，其中光谱传感器内核被配置成测量针对从场景的特定区接收的光的光谱响应。在与3D图像感测相关的特定实例中，光谱内核用于测量组织参数，例如使用3D成像器成像的用户的面部。在实施和操作的特定实例中，光谱内核被配置成提供能够辅助执行面部认证活动的信息，且在相关实例中，光谱内核可被配置成提供用于面部认证执行期间的反欺骗的信息。

在实施和操作的特定实例中，用于成像系统的成像模式适合于获取场景的图像(例如3D图像)。在实例中，与成像系统相关联的光谱内核可辅助自动白平衡。在相关实例中，成像系统包含前向相机。在特定相关实例中，与成像系统相关联的光谱内核可提供用于确定准确肤色的信息。在一实例中，与3D成像系统相关联的光谱内核适于与系统的3D成像模式同时使用。

在实施和操作的特定实例中，成像系统适于提供由缺失像素相对于成像阵列中的光谱像素内核的移位引起的缺失像素的内插。在特定实例中，光谱内核可用于提供用于与使用飞行时间像素的3D成像一起使用的信息。在另一实例中，来自例如相机等成像系统的屏幕的照明可与光谱滤波器内核组合使用以提供用于辅助表示正成像的场景或对象的准确和/或精确光谱的信息。

在实施方案的一实例中，成像系统包含针对多个操作模式优化的聚焦透镜，所述操作模式包含一般成像模式和至少一个供与光谱内核一起使用的模式。在相关实施实例中，成像系统可包含适于可重新配置的透镜元件，且在相关实例中，所述可重新配置的透镜元件可使得能够执行多个操作模式，例如循序操作模式。在相关实例中，可重新配置的透镜元件可适于针对多个模式中的每一个再聚焦。在另一相关实例中，可重新配置的透镜元件专门适于允许用于漫射光谱感测模式的失焦操作。在又一相关实例中，使用适于使用使用一个或多个光谱内核收集的信息执行漫射光谱感测模式。

在实施和操作的特定实例中，成像系统的光学堆叠中的斥拒过滤器元件适于使近红外(NIR)光通过以供在3D成像中使用以及用于光谱成像内核，同时大体上斥拒一个或多个所要NIR波长外的光。在相关实例中，适于约束和/或衰减一个或多个特定波长范围中的光的玻璃滤光器被配置成针对多个成像模式中的一个或多个以机械方式收缩。

在实例实施方案中，成像系统包括具有标准红绿蓝(RGB)滤波器的图像传感器像素。在另一实例中，成像系统中的一些图像传感器像素包括调制或飞行时间像素，而在其它实例中，成像系统中的一些图像传感器像素包括自动聚焦像素。在实例成像系统中，图像传感器配置有针对不同操作模式的多个读出模式和/或像素类型。在一实例中，成像系统包括适于在不同和/或相同模式中使用的成像像素和光谱像素两者。在相关实例中，单独的或作为成像系统的一部分的图像传感器被配置成循序地操作多个读出模式和/或像素类型，而在一个或多个额外模式中，成像像素和光谱像素被配置成同时操作。

在实例实施方案中，成像系统包括图像传感器，所述图像传感器包含定位于滤波器的顶部上的微透镜(即，被配置成使得进入成像系统的入射光首先通过微透镜)。在相关实例实施方案中，多个微透镜类型适于与光谱像素一起使用，而所述多个微透镜类型不同于适于与成像像素一起使用的多个微透镜类型。

图4C提供示出并入有空间上分离的光谱宏像素的成像阵列的实施方案的图像。在实例中，宏像素76位于成像阵列的规则间隔的空间区域内。在操作的实例中，宏像素用于校正和/或增强所得图像的相关联空间区域。

图5提供并入有高分辨率成像器及光谱子阵列的实例成像系统的框图。在实例中，成像系统100包含成像器210，其可包含高分辨率像素，连同多个空间上分离的光谱子阵列200-1到200-X。在特定实例中，光谱子阵列200-1到200-X跨成像器210的区域大体上均匀地分布。在替代实例中，光谱子阵列200-1到200-X跨成像器210的区域以预定图案分布以在成像器210的特定位置中启用更多的光谱子阵列200-1到200-X。在实施和操作的特定实例中，多个空间上分离的光谱子阵列200-1到200-X中的每一个包括适于基于成像器210处接收的光提供波长光谱的光谱传感器元件的马赛克。

在一实例中，图像处理器220适于从成像器210和光谱子阵列200-1到200-X接收输出。在另一实例中，图像处理器220进一步适于基于来自光谱子阵列200-1到200-X的输出校正和/或增强成像器210的输出。在实施方案的一实例中，成像器210被调适成具有实现成像器210和光谱子阵列200-1到200-X的高分辨率像素两者到图像处理器220的单个输出的接口。在另一实例中，来自成像器210和光谱子阵列200-1到200-X的高分辨率像素的输出可单独地提供到图像处理器220。

图6A是示出用于使用空间上分离的宏像素校正图像数据的实例方法的流程图。方法开始于步骤300，其中成像器对场景进行取样，且在步骤310处通过对空间上分离的宏像素的每一像素的所接收光进行取样而继续。在步骤320处，方法继续确定每一宏像素的光谱信息，且接着在步骤330处继续，在步骤330中，在与所确定的宏像素光谱信息相关联的空间区域中校正和/或增强场景的图像数据。

图6B是示出用于使用空间上分离的宏像素校正图像数据的另一实例方法的流程图。方法开始于步骤400，对空间上分离的宏像素的每一像素的所接收光的光谱进行取样。在步骤410处，方法继续场景的3D取样。在步骤420处，方法继续确定每一宏像素的光谱信息，且接着在步骤430处继续，在步骤430中，使用光谱信息扩增场景的3D数据。在步骤440处，使用经扩增3D

数据来产生增强型3D图像。

图7提供并入有红外(IR)成像器和光谱成像器的认证系统的框图。在实例中，认证系统500包含IR泛光照明器508，其被配置成提供相对均匀的高频调制光以供在例如用户面部等待认证的对象上投射。在一实例中，IR成像器502与IR泛光照明器508的输出大体上同步，且适于对由对象反射的IR辐射进行取样。在一实例中，图7的认证系统适于使用飞行时间机制确定由IR泛光照明器508投射在对象上的光直至其在IR成像器502处被接收的往返时间。在一实例中，与处理器506相关联的一个或多个模块适于使IR泛光照明器508的输出与IR成像器502所进行的图像取样同步。在特定实例中，处理器506包含适于基于来自IR成像器502的输出执行飞行时间算法以解析IR成像器502与正认证的对象之间的距离的额外模块。在特定实例中，IR成像器502与相同图像传感器上的光谱成像器504一起实施且适于将一个或多个输出信号提供到处理器506。在替代实例中，IR成像器502与光谱成像器504分开实施，其中每一成像器适于将一个或多个输出信号提供到处理器506。

在特定实例中，IR泛光照明器508包括一个或多个发光二极管(LED)。在另一实例中，IR泛光照明器508包括一个或多个激光源，其中激光提供IR辐射脉冲。在一实例中，认证系统500可包含结构化IR照明器512以用例如栅格、点或线等不同图案对对象进行照明。在一实例中，结构化IR照明器512可包含点栅格图案以检查对象上的若干点，或在另一实例中，线或多个线图案可由结构化IR照明器512投射以例如确定对象的三维构形。在操作和实施的特定实例中，结构化IR照明器512可利用基于三角测量的照明在对象正被扫描的同时确定对象的尺寸。在另一相关实例中，结构化IR照明器512可利用影子照明与基于三角测量的照明组合来基于反射和/或折射辐射在对象正被扫描的同时确定对象的尺寸。在又一实例中，结构化IR照明器512可利用点图案或栅格图案在单次曝光中(即，不被扫描)确定对象上的多个离散点处对象的深度信息。

图8A提供适于认证的移动装置的实例。在实例中，移动装置520包含适于认证移动装置520的用户的相机或成像机制。在特定实例中，相机或成像机制包含具有一个或多个照明源及专用传感器的模块。参看图7，照明源中的一个或多个可适于在用户的面部上投射红外(IR)辐射。实例照明源包含泛光照明源526和/或结构光照明源522。在特定实例中，处理器可在相机或成像模块中实施，且适于控制泛光照明源526和/或结构光照明源522。在替代实例中，泛光照明源526和/或结构光照明源522的控制可由与移动装置520的其它功能共享的处理器执行。

在所示出的实例中，提供图像传感器524和光谱传感器528以对例如从供认证的用户的面部反射的红外(IR)光等光进行取样。在一实例中，除正常相机功能之外，图像传感器524还适合于认证功能。在替代实例中，图像传感器524专用于认证功能。在相关实例中，光谱传感器528可适于认证功能，或替代地，光谱传感器528可适于除认证外的其它用途。在特定相关实例中，所述一个或多个照明源可适于提供具有专用照明功能的光谱传感器528来对反射光进行光谱取样。在另一实例中，图像传感器524和光谱传感器528实施于例如来自图2A的图像传感器10等相同图像传感器中。

图8B提供用户实施相机或成像机制用于认证的实例。在一实例中，例如图8A的移动装置520等移动装置适于提供从用户面部反射的结构光照明和泛光照明光以提供来自用户面部的多个离散点处的三维深度信息。在一实例中，相机或成像机制可包含用于确定例如用户面部的皮肤参数等组织参数的光谱传感器，所述组织参数可用于扩增认证系统中的三维深度信息。

在操作的一实例中，组织参数到认证算法的添加可用于抵御各种欺骗行为，例如使用掩码或脱离形体的身体部位来认证移动装置的使用。在一实例中，使用光谱传感器收集的皮肤参数可指示血液是否正在皮肤组织(例如面部组织)中循环，和/或组织是否为适当温度，以及作为活组织和/或组织参数是否与特定用户匹配的指示的其它组织参数。

图9是用于使用泛光和结构化红外(IR)照明及光谱成像器来认证用户的方法的流程图。方法开始于步骤600，其中来自结构化IR光源的光投射在用户的面部上；且在步骤612处继续，其中从用户的面部反射的光由适于感测IR辐射的成像器取样。在步骤614处，方法继续，其中来自泛光IR光源的光投射在用户的面部上；且在步骤616处继续，其中从用户的面部反射的光由成像器取样。在另一实例中，步骤600和614可次序颠倒，使得首先执行来自泛光IR光源的反射光的取样。方法在步骤618处继续，其中使用来自步骤步骤612和步骤616的样本执行认证算法。方法接着在步骤620处继续，其中使用光谱成像器对用户面部的图像进行取样，然后在步骤622处，基于经取样的光谱图像确定用户面部的组织(例如皮肤)参数。在步骤624处，方法继续，其中将组织参数应用于认证功能以扩增认证算法，且最后如果自从步骤600流逝的时间不超出预定时间周期，则认证完成。相反，如果已超过预定时间周期，则方法可以步骤600重启。

应注意，如本文可以使用的术语，如位流、流、信号序列等(或其等效物)已被互换地用于描述内容对应于多个期望的类型(例如，数据、视频、语音、文本、图形、音频等，其中的任何一个总体上可以被称为‘数据’)中的任何一种的数字信息。

如本文中可使用，术语“大体上”和“大致”为其相应的术语和/或项目之间的相关性提供工业上可接受的容差。对于一些行业，行业接受的容差小于百分之一，而对于其它行业，行业接受的容差为百分之10或更高。行业接受的容差范围的其它实例在不到百分之一到百分之五十的范围内。行业接受的容差对应于但不限于组件值、集成电路工艺变化、温度变化、上升和下降时间、热噪声、尺寸、传信误差、丢弃的数据包、温度、压力、材料组成和/或性能度量。在行业内，可接受容差的容差变化可以大于或小于某一百分比水平(例如，尺寸容差小于+/-1％)。项目之间的某一相对性可介于小于一个百分比水平的差异到几个百分比之间。项目之间的其它相对性可介于几个百分比的差异到巨大差异之间。

如本文中还可使用，术语“被配置成”、“可操作地联接到”、“联接到”和/或“联接”包含项目之间的直接联接和/或项目之间经由中间项目(例如，项目包含但不限于组件、元件、电路和/或模块)的间接联接，其中对于间接联接的实例，中间项目不修改信号的信息但可调整其电流电平、电压电平和/或功率电平。如本文中可进一步使用，推断联接(即，其中一个元件据推断联接到另一元件)包含以与“联接到”相同的方式进行的两个项目之间的直接和间接联接。

如本文可以更进一步使用，术语“被配置成”、“可操作以”、“联接到”或“可操作地联接到”指示项目包含电源连接、输入、输出等中的一个或多个，以用于在激活时执行一个或多个其相应功能，并且可进一步包含到一个或多个其它项目的推断联接。如本文中还可进一步使用，术语“与...相关联”包含单独项目的直接和/或间接联接，和/或一个项目嵌入在另一项目中。

如本文可使用，术语“有利地比较”指示两个或两个以上项目、信号等之间的比较提供了所要关系。例如，当所要关系是信号1具有比信号2更大的量值时，则当信号1的量值大于信号2的量值或者当信号2的量值小于信号1的量值时，可实现有利的比较。如本文中可使用，术语“不利地比较”指示两个或两个以上项目、信号等之间的比较未能提供所要关系。

如本文可使用，一个或多个权利要求可包含此通用形式短语“a、b和c中的至少一个”或此通用形式“a、b或c中的至少一个”的具体形式，具有比“a”、“b”和“c”多或少的元素。在任何一种措辞中，短语的解释都是相同的。具体来说，“a、b和c中的至少一个”等同于“a、b或c中的至少一个”，并且应意指a、b和/或c。作为实例，其意指：仅“a”、仅“b”、仅“c”、“a”和“b”、“a”和“c”、“b”和“c”，和/或“a”、“b”和“c”。

如本文还可使用，术语“处理模块”、“处理电路”、“处理器”、“处理电路系统”和/或“处理单元”可以是单个处理装置或多个处理装置。此处理装置可以是微处理器、微控制器、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路系统、模拟电路系统、数字电路系统，和/或基于电路系统和/或操作指令的硬译码来操纵信号(模拟和/或数字)的任何装置。处理模块、模块、处理电路、处理电路系统和/或处理单元可以是或进一步包含存储器和/或集成存储器元件，其可以是单个存储器装置、多个存储器装置，和/或另一处理模块、模块、处理电路、处理电路系统和/或处理单元的嵌入式电路系统。此存储器装置可以是只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、快闪存储器、高速缓冲存储器和/或存储数字信息的任何装置。应注意，如果处理模块、模块、处理电路、处理电路系统和/或处理单元包含一个以上处理装置，则处理装置可以居中定位(例如，经由有线和/或无线总线结构直接联接在一起)或者可以分布式地定位(例如，经由局域网和/或广域网间接联接的云计算)。还应注意，如果处理模块、模块、处理电路、处理电路系统和/或处理单元经由状态机、模拟电路系统、数字电路系统和/或逻辑电路系统实施其一个或多个功能，则存储相应操作指令的存储器和/或存储器元件可嵌入在包括所述状态机、模拟电路系统、数字电路系统和/或逻辑电路系统的电路系统内或外部。还应注意，存储器元件可存储，且处理模块、模块、处理电路、处理电路系统和/或处理单元执行，对应于一个或多个图中所示的至少一些步骤和/或功能的硬译码和/或操作指令。此存储器装置或存储器元件可以包含在制品中。

以上已经借助于说明指定功能的执行及其关系的方法步骤描述了一个或多个实施例。为了便于描述，本文任意地限定这些功能构建块和方法步骤的边界和顺序。可限定替代的边界和顺序，只要指定功能及关系被适当地执行即可。因此，任何此类替代边界或顺序都在权利要求书的范围和精神内。此外，为了便于描述，任意地限定这些功能构建块的边界。可限定替代边界，只要某些重要功能被适当地执行即可。类似地，本文中也可能任意地限定了流程图块以说明某些重要功能性。

在使用的范围内，流程图块边界和顺序可用其它方式限定，并且仍然执行某些重要功能性。因此，功能构建块和流程图块及顺序的此替代限定都在权利要求书的范围和精神内。所属领域的普通技术人员还将认识到，本文中的功能构建块和其它说明性块、模块和组件可如图所示的那样实施，或由离散组件、专用集成电路、执行适当软件等的处理器或其任何组合来实施。

另外，流程图可包含“开始”和/或“继续”指示。“开始”和“继续”指示反映所呈现的步骤可以任选地并入在一个或多个其它例程中或以其它方式与其结合使用。另外，流程图可包含“结束”和/或“继续”指示。“结束”和/或“继续”指示反映所呈现的步骤可如所描述和展示的那样结束，或者任选地并入在一个或多个其它例程中或以其它方式与其结合使用。在该上下文中，“开始”指示开始所呈现的第一步骤，并且其前面可以是未具体展示的其它活动。此外，“继续”指示反映所呈现的步骤可多次执行，和/或可以后跟着未具体展示的其它活动。此外，尽管流程图指示步骤的特定次序，但是其它次序同样是可能的，只要维持因果关系原则即可。

本文使用一个或多个实施例来说明一个或多个方面、一个或多个特征、一个或多个概念和/或一个或多个实例。设备、制品、机器和/或过程的物理实施例可包含参考本文所论述的实施例中的一个或多个实施例描述的方面、特征、概念、实例等中的一个或多个。此外，贯穿各图，实施例可并入有可使用相同或不同参考标号的相同或类似名称的功能、步骤、模块等，并且，由此，所述功能、步骤、模块等可为相同或类似的功能、步骤、模块等或并不相同。

除非特定地陈述为相反情况，否则到达、来自本文呈现的任何图的图中元件的信号和/或元件之间的信号可以是模拟或数字的、连续时间或离散时间以及单端或差分的。例如，如果信号路径展示为单端路径，则其还表示差分信号路径。类似地，如果信号路径展示为差分路径，则其还表示单端信号路径。尽管本文描述了一个或多个特定架构，但同样可以实施其它架构，其它架构使用未明确展示的一个或多个数据总线、元件之间的直接连接和/或如本领域的普通技术人员所了解的其它元件之间的间接联接。

术语“模块”在实施例的一个或多个的描述中使用。模块经由例如处理器或其它处理装置或其它硬件等装置实施一个或多个功能，所述装置可包含存储操作指令的存储器或与之相关联地操作。模块可独立地和/或结合软件和/或固件操作。还如本文所使用，模块可含有一个或多个子模块，每个子模块可以是一个或多个模块。

如本文可以进一步使用的，计算机可读存储器包含一个或多个存储器元件。存储器元件可以是单独的存储器装置、多个存储器装置或存储器装置内的一组存储器位置。此存储器装置可以是只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、快闪存储器、高速缓冲存储器和/或存储数字信息的任何装置。存储器装置可以是固态存储器、硬盘驱动器存储器、云存储器、随身盘、服务器存储器、计算装置存储器和/或用于存储数字信息的其它物理介质的形式。

尽管本文已明确地描述了所述一个或多个实施例的各种功能和特征的特定组合，但这些特征和功能的其它组合同样是可能的。本公开不受本文所公开的特定实例限制，并且明确并入有这些其它组合。

Claims (20)

1.一种成像系统，所述系统包括：

光学传感器阵列，其具有相应顶部表面和相应底部表面；

第一多组光学滤波器，其中所述第一多组光学滤波器的每一组光学滤波器与所述阵列的一组相应光学传感器相关联；

第二多组光学滤波器，其中所述第二多组光学滤波器的每一组光学滤波器与所述阵列的一组相应光学传感器相关联，其中所述第二多组光学滤波器中的一组光学滤波器的每一光学滤波器被配置成使相应波长范围的光通过，其中所述第二多组光学滤波器跨所述光学传感器阵列的所述顶部表面空间上散置；以及

一个或多个处理器，其适于：

基于来自所述阵列的第一多组光学传感器的输出对场景的图像进行取样；以及

针对所述阵列的第二多组光学传感器的每一组光学传感器对所接收光光谱进行取样。

2.根据权利要求1所述的成像系统，其中所述光学传感器阵列设置在集成电路上。

3.根据权利要求1所述的成像系统，其中所述第一多组光学滤波器与所述第一多个光学传感器相关联，且所述第二多组光学滤波器与所述第二多组光学传感器相关联。

4.根据权利要求1所述的成像系统，其中所述第一多组光学滤波器中的一组光学滤波器呈贝尔图案布置，且所述第二多组光学滤波器呈包括等于或超过9个不同波长范围的马赛克布置。

5.根据权利要求1所述的成像系统，其中所述第二多组光学滤波器中的一组光学滤波器包含选自由以下组成的群组的光学滤波器：

干涉滤波器，

法布里-珀罗滤波器，

吸收滤波器，

干涉滤波器，

等离子滤波器，以及

纳米结构滤波器。

6.根据权利要求1所述的成像系统，其中所述第一多组光学滤波器中的一组光学滤波器包含选自由以下组成的群组的光学滤波器：

吸收RGB滤波器，

UV滤波器，

干涉滤波器，

等离子滤波器，

纳米结构滤波器，以及

偏光滤波器。

7.根据权利要求1所述的成像系统，其中所述第一多组光学滤波器包含选自由以下组成的群组的一组或多组光学滤波器：

红绿蓝(RGB)滤波器，

红绿绿蓝(RGGB)滤波器，

吸收RGB滤波器，以及

红绿绿蓝蓝(RGGBBB)滤波器。

8.根据权利要求1所述的成像系统，其中所述光学传感器选自由以下组成的群组：

三维(3D)传感器，

紫外传感器，

有机薄膜传感器，

有机光导文件(OPF)传感器，

全色传感器，

CMOS传感器，

短波红外(SWIR)敏感传感器，以及

红外传感器。

9.根据权利要求1所述的成像系统，其中与所述第二多组光学滤波器中的一组光学滤波器相关联的一组光学传感器适于以多个波长通道感测定位带通响应。

10.根据权利要求1所述的成像系统，其中所述光学传感器阵列跨表面形成，其中所述表面划分成多个相等分区X，其中所述第二多组光学滤波器跨所述表面空间上散置，使得每一分区X包含所述第二多组光学滤波器中的一组光学滤波器。

11.根据权利要求1所述的成像系统，其进一步包括：

一个或多个光学元件，其中所述光学传感器阵列跨表面形成，其中所述表面划分成多个分区，其中所述第二多组光学滤波器基于预定图案跨所述表面空间上散置，其中所述预定图案是基于所述光学元件。

12.一种方法，其包括：

通过成像系统对来自光学传感器阵列的第一子组的光学传感器的输出进行取样以生成场景的图像，其中所述第一子组的光学传感器中的一个光学传感器子组与第一组光学滤波器相关联；

通过所述成像系统对所述光学传感器阵列的第二子组的光学传感器进行取样以生成多个所接收光光谱，其中所述第二子组的光学传感器中的一个光学传感器子组与第二组光学滤波器相关联，其中第二组光学滤波器中的每一光学滤波器被配置成使相应波长范围的光通过，其中所述第二组光学滤波器中的每一组光学滤波器跨所述光学传感器阵列空间上散置；以及

基于所述多个所接收光光谱，修改所述图像。

13.根据权利要求12所述的方法，其中所述光学传感器阵列设置在集成电路上。

14.根据权利要求12所述的方法，其中所述第一组光学滤波器中的所述光学滤波器呈贝尔图案布置，且所述第二多组光学滤波器呈包括等于或超过9个不同波长范围的马赛克布置。

15.根据权利要求12所述的方法，其中所述第二组光学滤波器中的一组光学滤波器包含选自由以下组成的群组的一个或多个光学滤波器：

干涉滤波器，

法布里-珀罗滤波器，

吸收滤波器，

干涉滤波器，

等离子滤波器，以及

纳米结构滤波器。

16.根据权利要求12所述的方法，其中所述第一组光学滤波器中的一组光学滤波器包含选自由以下组成的群组的光学滤波器：

吸收RGB滤波器，

UV滤波器，

干涉滤波器，

等离子滤波器，

纳米结构滤波器，以及

偏光滤波器。

17.根据权利要求12所述的方法，其中所述第一组光学滤波器中的一组光学滤波器包含选自由以下组成的群组的一组或多组光学滤波器：

红绿蓝(RGB)滤波器，

红绿绿蓝(RGGB)滤波器，

吸收RGB滤波器，以及

红绿绿蓝蓝(RGGBBB)滤波器。

18.根据权利要求12所述的方法，其中所述光学传感器阵列的一个或多个光学传感器选自由以下组成的群组：

三维(3D)传感器，

紫外传感器，

有机薄膜传感器，

有机光导文件(OPF)传感器，

全色传感器，

CMOS传感器，

短波红外(SWIR)敏感传感器，以及

红外传感器。

19.根据权利要求12所述的方法，其中与所述第二组光学滤波器中的一组光学滤波器相关联的每一组光学传感器适于以多个波长通道感测定位带通响应。

20.根据权利要求12所述的方法，其中所述成像系统包含一个或多个光学元件，所述光学传感器阵列具有相应顶部表面和相应底部表面，其中所述顶部表面划分成多个分区，其中所述第二多组光学滤波器基于预定图案跨所述表面空间上散置，其中所述修改所述图像进一步基于与所述预定图案相关联的所接收光光谱。