CN107407600B

CN107407600B - 感测图像和光源

Info

Publication number: CN107407600B
Application number: CN201680013589.6A
Authority: CN
Inventors: C·崔
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2015-03-04
Filing date: 2016-02-19
Publication date: 2019-08-23
Anticipated expiration: 2036-02-19
Also published as: US9696470B2; US20160259099A1; CN107407600A; EP3265765B1; EP3265765A1; WO2016140809A1

Abstract

本描述涉及捕捉或感测场景的彩色图像以及关于照明场景的光的类型(例如，光源)的信息。一个示例可包括表现为像素阵列的图像传感器。该示例还可包括被配置成将来自场景的图像聚焦在像素阵列上的透镜。像素阵列可包括被配置成感测图像的第一像素以及被配置成捕捉关于场景的光照的信息的第二像素。

Description

感测图像和光源

背景

在场景的彩色图像中捕捉的颜色可取决于对该场景进行照明的光源的类型。可基于光源的类型对颜色进行调整，以使彩色图像对用户而言更合意。

概述

本描述涉及捕捉或感测场景的彩色图像和关于对该场景进行照明的光(例如，光源或照明源)的类型的信息。一个示例可包括表现为像素阵列的图像传感器。该示例还可包括被配置成将来自场景的图像聚焦在像素阵列上的透镜。像素阵列可包括被配置成捕捉图像的第一像素以及被配置成捕捉关于场景的光照(例如，对该场景进行照明的可见光)的信息的第二像素。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图简述

附图例示了本文档中所传达的概念的实现。所例示的实现的特征可通过参考以下结合附图的描述来更容易地理解。在可行的情况下，各附图中相同的附图标记被用来指代相同的元素。此外，每个附图标记的最左边的数字传达其中首次引入该附图标记的附图及相关联的讨论。

图1和7示出了根据本发明概念的一些实现的示例图像和光源感测系统。

图2、5和6示出了根据本发明概念的一些实现的示例图像和光源感测过程。

图3-4示出了根据本发明概念的一些实现的示例滤光器。

概览

本描述涉及相机，并且更具体而言涉及可检测关于对由相机捕捉的场景进行照明的光的信息的相机。从另一角度来看，这些概念涉及捕捉或感测场景的彩色图像和关于对该场景进行照明的光(例如，光源)的类型的信息。诸如自然光、白炽灯、各种荧光灯、发光二极管(LED)灯等的不同类型的光可影响感测到的彩色图像的颜色。因此，即使在被同一传感器捕捉的情况下，用荧光灯照明的场景也可能(在感测到的彩色图像中)看上去与用白炽灯照明的相同场景不同。这有时被称为传感器同色异谱(metamerism)。知道光源的类型可以允许对感测到的彩色图像进行各种调整，从而为用户生成更合意的图像(例如，颜色准确或增强的图像)。本发明的各实现可以在同一图像传感器上捕捉关于光源的信息，该图像传感器以带有极少或者不带有感测到或捕捉的图像的可感知的降级的方式来捕捉图像。换言之，本发明的各实现可以使用相同的图像传感器来感测图像并且通过使用不同的滤光器来感测关于光源的信息。因此，在感测到的彩色图像质量中无显著的损失及不添加另一传感器的情况下，图像传感器可被认为具有扩展的光检测或感测能力。因此，单个图像传感器可执行两个功能，同时保持基本相同的感测到的图像质量。

图1示出了示例光谱感测系统100。系统100可包括相机102以及可对场景106进行照明的光源104。在这一示例中，场景是花瓶中的一朵花。相机可包括透镜108和图像传感器110。在所例示的配置中，相机102是单镜头反射(SLR)型相机。本发明的概念也适用于其他相机类型。相机可捕捉二维或三维彩色图像。还需要注意，如本文所使用的，术语“相机”可指代诸如图1所例示的单镜头反射(SLR)相机或取景器相机之类的独立设备，并且/或者“相机”可指代设备的元件(例如，智能电话设备可包括相机)。结合图7对后一种场景的示例进行解说和讨论。

在图1中，图像传感器110可包括传感器112的阵列，其包括多个单独的像素传感器112(1)-112(N)(在该示例中例示了十四个像素传感器)。图像传感器110可以是有源像素传感器、无源像素传感器或其他类型的传感器。有源像素传感器的示例可包括互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)等。

滤光器114可被定位在各个个体像素传感器112之上。需要注意，该图示是像素传感器112和滤光器(例如，滤光器阵列)114的简化版本。在实践中，图像传感器110中的像素的数量通常为数千甚至数百万，这当然不能被有效地例示出。然而，概念可用该简化版本来被有效地传达。

滤光器114可包括第一类型的滤光器(例如，第一滤光器类型)116和第二类型的滤光器(例如，第二滤光器类型)118。第一类型的滤光器116可被配置成帮助底层的各个个体传感器112捕捉感测到的场景106的彩色图像120的一部分(例如像素)。换言之，第一类型的滤光器可被认为是滤色器，使得各个个体底层像素传感器对特定的人可感知的颜色(诸如红色、绿色或蓝色)敏感。从一个角度来看，滤光器透射颜色(例如，透射颜色的波长)并阻挡其他波长。因此，第一类型的滤光器允许底层的像素传感器感测/捕捉有助于感测到的彩色图像120的颜色信息。由此，第一类型的滤光器116可被认为是滤色器阵列因此，在图1所例示的配置中，第一类型的滤光器116是有助于感测到的彩色图像120的颜色信息的因颜色而异的滤光器。在这种情况下，特定的颜色是红色(R)、绿色(G)和蓝色(B)。然而，其他实现可使用更多和/或不同的滤色器，诸如透明、青色、品红色、黄色和/或任何其他颜色系统。

第二类型的滤光器118被配置成促使底层的各个个体传感器112捕捉关于光源104的可见光光谱信息，而不是对感测到的彩色图像120有贡献。关于光源104的可见光光谱信息可表现为同感测到的彩色图像120相关联的场景光源元数据122。如本文所用的术语“可见光光谱”是指人类可见/可感知的光谱(例如，从大致/约400纳米(nm)到大致/约700nm的电磁辐射波长的范围)。术语“约”被使用，因为不是所有的人类都对完全相同的波长敏感，并因此通常所引用的400至700范围是一般人群的近似。在该上下文中，在一个示例中，术语“约”可以是+/-50nm，以在可见光光谱的两端覆盖所有人类。

在一些实现中，第二类型的滤光器118可被认为是光谱带(SB)滤光器。各个个体光谱带滤光器可感测可以提供关于光源104的信息的光的特定频率/波长范围。第二类型的滤光器的相对数量可显著少于(例如，呈指数地少于)第一类型的滤光器116的数量。例如，具有400,000个像素的传感器可具有399,000个第一类型的滤光器以及1,000个第二类型的滤光器。第二类型的滤光器可随机地分布在第一类型的滤光器中(或者另外地以对感测到的图像不具有显著视觉影响的方式分布)。事实上，相对于感测到的图像，与第二类型的滤光器相关联的像素可被视为有缺陷的像素(或者以类似于有缺陷的像素的方式来被处理)。例如，与第二类型的滤光器相关联的像素的颜色值可至少部分地基于其他接近的像素的颜色以及其他解决方案来被确定。所确定的颜色值可接着被指派给与彩色图像有关的像素。

在一些实现中，各个个体光谱带滤光器可被协同使用以感测400到700纳米的整个可见光光谱。例如，第一光谱带(SB1)滤光器可感测400到450，第二光谱带(SB2)滤光器可感测450到500，以此类推，最后一个(例如SBN)感测650到700。

来自各种光谱带滤光器的可见光光谱信息可被组合以表示当白光场被成像时的场景的可见光光谱。其他实现可使用更少的光谱带滤光器，这些光谱带滤光器被选择来感测与各种类型的光源相关联的特定频率范围。例如，白炽灯光源倾向于发射在可见光光谱中具有大致连续分布的光。相比之下，其他光源类型(诸如荧光灯泡)倾向于发射不连续的光带。特定荧光灯泡倾向于在已知的波长处具有明显的峰或带。类似地，LED倾向于按可以与各种荧光灯泡区分开来的峰来发射光。来自这些传感器的感测到的可见光光谱信息本身和/或与来自传感器(底层的第一类型滤光器)的感测到的颜色信息组合的上述可见光光谱信息可提供针对整个可见光光谱的光谱信息。在一些实现中，该可见光光谱信息和/或其一些方面可被保存为感测到的光源元数据122。其他实现可确定源的光的类型是什么并且将源类型(例如，荧光)保存为感测到的光源元数据122。

图1示出了其中传感器110的每个像素或者具有第一滤光器类型116的滤光器或者具有第二滤光器类型118的滤光器的实现。替代实现可将第一滤光器类型的滤光器定位在所有的像素之上，并接着将第二滤光器类型定位在第一滤光器类型的一些或全部之上。例如，第二滤光器层可被定位在对多数像素而言是透明(例如，清澈)的第一滤光器类型之上，但是在一些像素之上包含第二滤光器类型，使得第一滤光器类型和第二滤光器类型的组合产生特定的期望透射范围。

总而言之，一些实现可将专用的像素嵌入到滤色器阵列114中，以产生不同于RGB滤光器灵敏度的独特的光谱灵敏度，而不会显著地影响传感器性能。

图2示出了用于增强图像的设备实现过程200。该过程可以对同感测到的彩色图像120相关联的感测到的光源元数据122进行操作，以确定关于光源的信息，诸如202处的光源类型(例如，照明体类型)。尽管本讨论提到单一类型的光源，但是本发明的各实现可检测照明场景的多种类型的光源以及每个光源的相对强度(例如，每个光源对场景的相对影响)。其他实现可将感测到的光源类型视作图像处理流水线硬件和/或软件中的内部参数。

该过程可以在204处基于感测到的光源信息执行后期图像处理，诸如对感测到的彩色图像执行颜色校正。在一些实现中，后期图像处理可采用对应于在202处所标识的光源的类型的因光源而异的颜色校正算法206。因光源而异的颜色校正可将来自感测到的图像的颜色值(例如，强度)调整为当该图像已用中性光来照明时将被预期的对应的颜色值。从一个角度来看，因光源而异的颜色校正可表现为因光源而异的颜色校正算法，其可基于场景光照的类型来将各个个体颜色像素(例如，R、G、B)的颜色值从感测到的值调整到中性光值。如本文所使用的，“中性光”可以是具有对人类用户而言客观或主观地合意的预定义的光谱分布的光。预定义的光谱分布可由设备制造商或组件供应商来限定。替代地，预定义的光谱分布可以是用户可选择的，诸如来自被提供在设备上的一组中性光选项。

在所例示的配置中，因光源而异的算法可包括自然光算法206(1)(例如，自然光到中性光)、白炽灯算法206(2)(例如，白炽灯到中性光)、荧光灯算法206(3)(例如，荧光灯到中性光)和/或LED算法206(N)(例如，LED灯到中性光)等。

该过程可产生补偿光源的属性并且在视觉上更加吸引用户的增强的图像208。相比于先前的自动白平衡技术，本发明的过程不依赖于根据感测到的彩色图像120估计关于光源的信息。相反，感测到的光源信息允许相比先前的自动白平衡估计技术准确和可靠得多的自动白平衡。

图3示出了滤光器114的代表性部分，其中第一类型的滤光器116是通常按拜耳布置来被布置的红色(R)、绿色(G)和蓝色(B)(其他布置可替代地被使用)。图3还示出了幅度(例如，强度)和波长的图300。蓝色滤光器被配置成透射蓝色波长(例如，大致450-495nm波长)中的光。绿色滤光器被配置成透射绿色波长(例如，大致495-570nm波长)中的光。红色滤光器被配置成透射红色波长(例如，大致620-750nm波长)中的光。在该实现中，第二类型的滤光器118包括被配置成检测荧光的SB1和SB2滤光器。SB1滤光器被配置成检测400-450nm的光，而SB2滤光器被配置成检测600到650nm的光。在实践中，第二类型滤光器可被采用以检测其他波长范围(例如，SB3、SB4、SBN)。此外，尽管示出了SB1滤光器的单个实例，并且示出了SB2滤光器的单个实例，但是许多实现可采用每个滤光器的多个实例(例如，具有相同滤光器(诸如600至650nm透射滤光器)的多个非相邻像素)。

如图所示，荧光灯趋向于在大约425、490、540和620nm处具有峰。SB1和SB2滤光器被配置成分别检测400-450nm以及600至650nm的波长。这些波长通过红色、绿色或蓝色滤光器可能无法容易地被检测出。因此，针对SB滤光器选择包括这些波长的范围可以提供有用的光谱信息以用于确定对滤光器114进行照明的光源。换言之，由第二类型的滤光器118限定的波长范围可被选择成对标识特定的光源类型而言是有价值的。仍从另一个角度来看，各个个体第二类型滤光器可更加唯一地响应于某些光源(诸如荧光灯的光谱发射线)。因此，将第二类型的滤光器添加到滤光器阵列114可允许荧光灯被检测到并且/或者与其他光源(诸如基于特定波长光谱峰的白炽灯)区分开。

图4示出了包括三个所例示的第二类型滤光器118的滤光器114的另一代表性部分。为了讨论的目的，图3还示出了图300中不带图上示出的感测到的光谱的一实例。在该情况下，第二类型的滤光器SB1、SB2和SB3被配置成透射未被第一类型的滤光器R、G和B捕捉的波长范围内的光。在例示出的实现中，SB1可透射350-400，而SB2可透射400-450。范围450-570由蓝色和绿色传感器捕捉。来自570-620的范围可由第二类型的滤光器SB3捕捉，而来自620-750的范围可由红色传感器捕捉。换言之，具有同样不同于第一滤光器类型116(例如，红色、绿色和蓝色)的光谱透射峰的不同光谱透射峰的一组第二滤光器类型可被选择。以这种方式，通过组合来自两种滤光器类型的信息，与感测到的图像相关联的整个可见光光谱可被捕捉。在例示出的实现中，SB滤光器范围不与滤色器的范围重叠，但与滤色器相邻。例如，SB3感测570到620nm，而红色传感器感测620-750。然而，SB3可例如感测从570nm到650nm，并且部分地与红色传感器重叠。在确定性峰出现在相邻范围的边缘处时，这可能是有价值的。例如，假定波长620nm强烈地指示荧光灯。在这样的情况下，使SB3延伸到650nm可提供对该波长的有效检测，并由此提供相比具有邻接范围而言更多的确定性结果。

还有其他实现可致力于针对整个可见光光谱的第二类型滤光器118，而不是为了一些光谱信息而依赖于第一类型滤色器116(和底层的传感器)。例如，从300nm到800nm的十个连续的50nm带宽可以用十个不同的第二类型滤光器118捕捉，以在可见光光谱的每个端处给出一些重叠。替代地，各自具有五十纳米的六个连续的带宽可被用来跨越400-700或者各自具有六十纳米的五个连续的带宽可被用来跨越400-700，以及其他配置。

由于附图页面上的物理约束，仅48个像素滤光器以四乘十二的阵列被例示出。在实际中，滤光器和底层的像素的数量可以是数千或数百万。关于第二类型的滤光器118，专用于同此处所例示的波长范围不同的波长范围的滤光器可被选择。例如，总计100个滤光器像素可专用于感测可见光光谱。这些100个滤光器像素可分布(诸如随机地分布)在图像传感器110的像素上。这100个滤光器像素可被分成10个一组的10组，其中每组专用于特定的波长范围。这些分布在数千个像素中的感测彩色图像的100个像素的存在允许该100个像素对感测到的彩色图像的质量而言基本上微不足道。

图5示出了可采用上述一些概念的设备实现的过程500。框502可响应于感测场景的彩色图像的图像传感器来接收来自该图像传感器的像素的信息。在一些实现中，信息可包括由同感测图像相关的像素生成的信号。该信息还可包括关于传感器上的像素的位置的信息、被定位在各个个体像素上的滤光器的类型(和/或子类型)(例如，各个个体像素/滤光器组合被配置成感测可见光的哪个波长范围等)。

感测到的场景的彩色图像可基于颜色集，诸如红色、绿色、蓝色或青色、黄色、品红色或青色、黄色、绿色、品红色等。在图像传感器中，多数的像素可被配置成检测颜色集中的一种颜色(例如，专用于红色的多数的子集，专用于绿色的另一子集，以及专用于蓝色的第三子集)。少数的像素(例如，剩余像素中的一些或全部)可以是光谱带滤光器，这些光谱带滤光器将可见光光谱的其他部分透射到不向感测到的彩色图像贡献颜色信息的不同的底层像素。相反，这些像素可被用来捕捉与感测到的彩色图像中表示的场景的照明相关的其他可见光光谱信息。

框504可标识不专用于检测(例如感测)颜色集中的一种颜色的其他像素(例如，关于框502描述的剩余像素中的一些或全部)。在一些配置中，图像传感器的每个像素的相对位置以及被定位在每个像素上的滤光器的类型(和子类型)是已知的。在这样的实现中，其他像素(例如，其上定位了第二滤光器类型的像素)的位置通过传感器上的对应像素位置已知，并因此被容易地标识。

框506可基于其他像素中的各个个体像素被配置成来感测的波长范围(例如，光谱的各部分)来将其他像素组织成组。在一些情况下，组织其他像素可以是将其他像素的输出组织成组。例如，感测350-400nm的所有其他像素的输出(例如，信号)可被分组，并且感测400-450nm的所有其他像素的输出可被分组，以此类推。在一些情况下，在单个组内，该过程可评估来自成员像素的信号。信号可以是数字的或模拟的。在一些情况下，信号可包括分布(例如，波长范围上的幅度/强度)。

在一些实现中，评估可标识是异常值(或者另外地具有减小的分析值)的像素(例如具有输出的像素)，并且丢弃异常值并评估该组的剩余像素。例如，该过程可以在分布中寻找相比于相邻波长的尖锐的峰，以标识各个个体光源(诸如荧光灯)特有的(或指示各个个体光源)的带。然而，单个像素可以接收来自按类似波长的光高度着色的场景的一部分的光。在这样的情况下，峰可以是“隐藏的”(例如，该分布可具有接近峰的波长的高强度，使得峰在评估信号时不显著，即使它(例如，峰)可能存在)。该像素(例如，该像素的输出)可以具有相比于其组中的其他像素的减小的判别值，并且可被丢弃。当然，对像素所提供的可见光光谱信息的其他评估可被执行。

如所提到的，在一些情况下，评估可包括评估来自组的各个个体剩余像素的信号的波长范围的光谱分布。在其他情况下，评估可包括评估来自各个个体剩余像素的信号在各个个体波长处的相对强度。

框508可使用来自各个组的信息以标识对场景进行照明的光源的类型。在一些情况下，信息可被集中地使用以生成照明场景的可见光波长的光谱分布。光谱分布可仅使用来自其他像素的信息来被生成(例如，来自其他像素的信息可足以重新创建图像的整个可见光光谱和/或可捕捉可以明确区分不同光类型的波长范围)。替代地，该信息可被用来检测表示光谱带的峰，而无需知道整个可见光光谱。光谱带可以是特定类型的光源的特征。换言之，在特定波长处检测到的光谱带可指示特定类型的光源，诸如荧光灯。

替代地，来自其他像素的信息可以与诸如来自颜色像素的信号等其他信息结合使用。在图4中示出了这样的示例，其中可见光光谱使用来自其他像素和颜色像素的信号来被生成。光谱或其部分可以与特定光源的光谱分布进行比较。下面将参考图6描述框508的另一个实现。

框510可基于照明场景的光源的类型来处理感测到的彩色图像以产生增强的图像。框508所提供的准确的光源标识可以允许以较少的资源和/或更准确地校正现有技术的方式来采用各种类型的后期图像处理。例如，专门用于标识出的光源类型的自动白平衡算法可以更加稳健和高效地工作，这将导致更高的图像质量和更少的相机响应时间。处理的一个示例是将因光源而异的算法应用于感测到的彩色图像。参考图2解说和描述了因光源而异的算法的示例。

框512可促使增强的图像向用户显示。附加地或替代地，增强的图像可被储存以供稍后使用。增强的图像可以与最初(例如，原始)的感测到的彩色图像、光谱信息和/或标识出的光源的类型相关联。例如，该信息中的一些或全部可以与增强的图像和/或原始图像相关联作为元数据。

图6示出了另一设备实现的过程600。该过程可被认为是实现图5的框508的附加方式。框602可以从(图5的)框506获得与标识出的其他像素(例如，第二滤光器类型118下面的像素)有关的信息。在该实现中，框604还可标识感测到的彩色图像的灰色区域。灰色区域可被认为是感测到的彩色图像的灰色或中性着色的区域(例如，像素组)。

框606可标识任何其他像素是否在灰色区域中。换言之，灰色区域包括某个位置处的一组像素，并且过程可标识该组像素是否包括任何其他像素。

框608可确定单独的其他像素的信号分布相比于灰色区域中的各个个体颜色像素的信号分布的比率。换言之，在其中其他像素中的一者被包括在像素组中的实例中，该过程可将来自其他像素的信号分布与颜色像素的信号分布进行比较(例如，该过程可将当被暴露于灰色时的其他像素的输出与当被暴露于灰色时的颜色传感器的输出进行比较)。另外，该过程可访问被储存的比率的数据表。这些被储存的比率可以在对单个设备的受控条件下被生成，或者诸如作为产品开发的一部分针对单个设备模型来被全局地生成。被储存的比率可通过在受控的光环境中(例如，用自然光、用白炽灯、用荧光灯、用LED灯等)捕捉灰色表面的图像来被获得。每种情况中的比率可被储存在数据表中，并被映射到光源类型。

框610可将来自框608的比率与由已知光源产生的已知比率进行比较，以标识光源的类型。例如，在框608处被获得的比率可以与被储存的值进行比较以标识潜在的匹配。例如，比率和单独的被储存的比率之间的高于预定义的阈值的相似度可被认为是匹配。该匹配可指示光源的类型。除了其他用途之外，关于光源类型的信息可被输出到图5的框510。

图7例示了示出用于感测图像和光源的各种设备实现的示例系统700。在这一示例中，例示了四个设备实现。设备702(1)表现为智能电话，设备702(2)表现为智能手表的形式的可穿戴智能设备，设备702(3)表现为平板，而设备702(4)表现为远程资源704(诸如基于云的资源)中的服务器。图1的相机102也是设备702的另一种类型。设备可通过一个或多个网络706通信。尽管出于解释的目的例示了特定的设备示例，但是设备的另外的示例可包括传统的计算设备，诸如个人计算机、蜂窝电话、智能电话、个人数字助理、可穿戴设备、消费设备、游戏/娱乐控制台、车辆或任何大量不断开发或尚未开发的设备类型。

各个个体设备702可表现为两个所例示的配置708(1)和708(2)及其他配置中的一者。简而言之，配置708(1)表示以操作系统为中心的配置，而配置708(2)表示片上系统配置。配置708(1)被组织成一个或多个应用710、操作系统712和硬件714。配置708(2)被组织成共享资源716、专用资源718以及其间的接口720。

在任一配置中，设备702可包括显示器722、存储器724、处理器726、相机728、通信组件730和/或光源标识(ID)组件732。各个个体设备可替代地或附加地包括其他元件，诸如输入/输出设备、总线、图形卡(例如，图形处理单元(GPU))等，出于简明的目的未在此示出或讨论这些元件。

相机728可包括图1的透镜108、图像传感器110和相关联的滤光器114。通信组件730可允许各个个体设备702经由网络706彼此通信。通信组件可包括用于通过各种技术(诸如蜂窝、Wi-Fi(IEEE 802.xx)、蓝牙等)通信的接收机和发射机和/或其他射频电路。

光源标识组件732可被配置成从图像传感器110(图1)接收输出(信息/数据)。光源标识组件可标识哪些数据是所感测的场景的彩色图像的颜色信息以及哪些数据与照明场景的光的光谱信息有关。然后，光源确定组件可确定什么类型的光源照明了场景。以上参考图5和图6描述了可以由光源标识组件732采用的若干过程。光源确定组件可接着采取动作来改善感测到的彩色图像。以上参考图2描述了可以由光源确定组件采用的示例过程。

需要注意，并非光源标识组件732的每个实例都需要提供上述每个功能和/或在每种情况下执行每个功能。出于比较的目的，首先考虑稳健的实现，诸如可以在图1的相机102或图7的智能电话设备702(1)上完成的实现。在这样的情况下，设备可捕捉或感测彩色图像、基于来自第二类型滤光器118(图1)的信息来标识光源的类型、基于光源的类型来产生增强的图像208(图2)，并为用户显示增强的图像。然而，在设备的电池为低(例如，低于经定义的阈值)的情况下，光源标识组件732可简单地储存感测到的带有来自与第二类型滤光器118(图1)相关联的像素的信息的彩色图像。光源标识组件732可接着在随后的时间(诸如当设备被插入电源时)执行其他动作。

在替代配置中，设备702可以是资源约束的，并由此采用不太稳健的光源标识组件732，其可执行关于标识光源和/或增强图像的有限功能。例如，设备702(2)的智能手表实现可能缺少处理、存储和/或功率资源中的一者或多者。在这种情况下，光源标识组件732可接着储存感测到的彩色图像和来自第二滤光器类型118的像素的相关联的信息和/或将其传送到诸如设备702(4)的另一设备。该设备702(4)可接着执行剩余的功能以产生(诸)增强的图像208。增强的图像可接着被储存在诸如用户的云存储中、返回到原始设备和/或被发送到另一设备。

从一个角度来看，设备702中的任何一者均可被认为是计算机。如本文所使用的术语“设备”、“计算机”或“计算设备”可意指具有一定量的处理能力和/或存储能力的任何类型的设备。处理能力可由一个或多个处理器提供，这些处理器可执行计算机可读指令形式的数据以提供功能。数据(诸如计算机可读指令和/或用户相关的数据)可被储存在存储上，诸如对计算机而言可以是内部或外部的存储。存储可包括易失性或非易失性存储器、硬盘驱动器、闪存设备、和/或光存储设备(例如，CD、DVD等)、远程存储(例如，基于云的存储)等等中的任何一者或多者。如本文所使用的，术语“计算机可读介质”可包括信号。相反，术语“计算机可读存储介质”排除信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括诸如RAM之类的易失性存储介质、诸如硬盘驱动器、光盘和/或闪存存储器之类的非易失性存储介质，以及其他。

如上所述，配置708(2)可被认为是片上系统(SOC)型设计。在这样的情况下，设备所提供的功能可被集成在单个SOC或多个经耦合的SOC上。一个或多个处理器可被配置成与共享资源716(诸如存储器、存储等)和/或一个或多个专用资源718(诸如被配置成执行某些特定功能的硬件块)协作。因此，本文所使用的术语“处理器”还可指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核或其他类型的处理设备。

一般而言，本文所描述的任何功能可使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合来实现。本文所使用的术语“组件”一般表示软件、固件、硬件、整个设备或网络，或其组合。例如在软件实现的情况下，其可以表示当在处理器(例如，一个或多个CPU)上执行时执行指定任务的程序代码。程序代码可被储存在一个或多个计算机可读存储器设备中，诸如计算机可读存储介质。组件的各特征和技术是平台无关的，从而意味着它们可在具有各种处理配置的各种商用计算平台上实现。

附加的示例

以上描述了各示例实现。以下将描述附加的示例。一个示例可包括图像传感器，该图像传感器包括像素阵列。像素阵列可包括被定位在像素阵列上的滤光器阵列。滤光器阵列可包括被定位在多数像素上的第一类型的滤光器以及被定位在少数像素上的第二类型的滤光器。第一类型的滤光器被配置成提供滤光，使得人类可感知的光的特定颜色被透射到底层的像素并且被捕捉作为感测到的场景的彩色图像的颜色信息。第二类型的滤光器包括光谱带滤光器，其将可见光光谱的其他部分透射到不向感测到的彩色图像贡献颜色信息但捕捉其他可见光光谱信息的不同的底层像素。

另一示例包括以上和/或以下示例中的任何一个，其中光谱带滤光器被选择以捕捉指示特定类型的光源的带宽，或者其中光谱带滤光器针对各个个体带宽范围来被选择，从而当这些带宽范围被集中地采用时，这些带宽范围覆盖从约400纳米(nm)波长到约700nm波长的整个可见光光谱。

另一示例包括以上和/或以下示例中的任何一个，其中第一类型的滤光器的颜色同与第二类型的滤光器的透射波长重叠的透射波长相关联，或者其中第一类型的滤光器的透射波长不与第二类型的滤光器的透射波长重叠。

另一示例包括以上和/或以下示例中的任何一个，还包括被配置成接收来自图像传感器的信息的光源标识组件。光源标识组件还被配置成从接收到的信息的颜色信息中区分其他可见光光谱信息。

另一示例包括以上和/或以下示例中的任何一个，其中光源标识组件还被配置成评估其他可见光光谱信息的分布以标识场景的光源。

另一示例可响应于感测场景的彩色图像的图像传感器来接收来自该图像传感器的像素的信息。感测到的场景的彩色图像可至少基于颜色集，并且其中多数像素被配置成检测该颜色集中的一种颜色。该示例可标识不专用于检测该颜色集中的一种颜色的其他像素。该示例可至少基于各个个体其他像素被配置成来感测的波长范围来将其他像素组织成组。该示例可使用来自各个组的信息以标识对场景进行照明的光源的类型。该示例可基于照明场景的光源的类型来处理感测到的彩色图像以产生增强的图像。该示例可促使为用户显示增强的图像。

另一示例可包括用于响应于感测场景的彩色图像的图像传感器来接收来自该图像传感器的像素的信息的手段。感测到的场景的彩色图像至少基于颜色集，并且其中多数像素被配置成检测该颜色集中的一种颜色。该示例可包括用于标识不专用于检测该颜色集中的一种颜色的其他像素的手段。该示例可包括用于至少基于各个个体其他像素被配置成来感测的波长范围来将其他像素组织成组的手段。该示例可包括用于使用来自各个组的信息以标识照明场景的光源的类型的手段。该示例可包括用于基于照明场景的光源的类型来处理感测到的彩色图像以产生增强的图像的手段。该示例可包括用于促使为用户显示增强的图像的手段。

另一示例包括以上和/或以下示例中的任何一个，其中所述的接收信息包括接收从像素输出的信号。

另一示例包括以上和/或以下示例中的任何一个，其中所述的标识包括根据来自图像传感器的关于图像传感器上的各个个体像素的相对位置和滤光器类型信息的其他像素的信息来标识其他像素。

另一示例包括以上和/或以下示例中的任何一个，其中所述的组织还包括在单个组内标识是异常值的像素，并且丢弃异常值并评估该组的剩余像素。

另一示例包括以上和/或以下示例中的任何一个，其中所述的评估包括评估组的各个个体剩余像素的波长范围的光谱分布，或者其中所述的评估包括评估来自各个个体剩余像素的在各个个体波长处的信息的相对强度。

另一示例包括以上和/或以下示例中的任何一个，其中所述的使用包括集中地使用信息以生成对场景进行照明的可见光波长的光谱分布。

另一示例包括以上和/或以下示例中的任何一个，其中所述的使用包括使用信息来检测表示光谱带的峰。

另一示例包括以上和/或以下示例中的任何一个，还包括使用在特定波长处的峰的存在来标识光源。

另一示例包括以上和/或以下示例中的任何一个，其中所述的使用还包括标识感测到的彩色图像的灰色区域以及标识任何其他像素是否在该灰色区域中。该示例还可包括确定单独的其他像素的信号分布相比于灰色区域中的各个个体颜色像素的信号分布的比率，并将该比率与由已知光源类型产生的已知比率进行比较以标识光源的类型。

另一示例包括以上和/或以下示例中的任何一个，其中所述的比较包括访问数据表中的已知比率并确定比率和各个个体已知比率之间的相似度。

另一示例包括以上和/或以下示例中的任何一个，其中所述的比较在相似度超过预定义的阈值时标识匹配。

另一示例可包括图像传感器，该图像传感器包括像素阵列以及被配置成将来自场景的图像聚焦在像素阵列上的透镜。像素阵列可包括被配置成捕捉图像的第一像素以及被配置成捕捉关于场景的可见光的信息的第二像素。

另一示例包括以上和/或以下示例中的任何一个，其中图像传感器包括电荷耦合器件(CCD)或互补金属氧化物半导体传感器(CMOS)。

另一示例包括以上和/或以下示例中的任何一个，表现为智能电话、平板、可穿戴智能设备、单镜头反射相机、取景器相机或消费者设备。

结语

所描述的方法或过程可由上述系统和/或设备来执行，和/或由其他设备和/或系统来执行。描述方法的次序并不旨在被解释为限制，并且任何数量的所描述的动作都可以按任何次序进行组合以实现该方法或实现替换方法。此外，方法还可以用任何合适的硬件、软件、固件或其组合来实现，以使得设备可实现该方法。在一种情况下，该方法作为指令集被储存在计算机可读存储介质上，以便计算设备的处理器的执行使得该计算设备执行该方法。

尽管已用结构特征和/或方法动作专用的语言描述了关于光源标识的技术、方法、设备、系统等，但是应当理解，所附权利要求书中定义的主题不必限于所述具体特征或动作。相反，上述具体特征和动作是作为实现所要求保护的方法、设备、系统等的示例性形式而公开的。

Claims

1.一种感测图像和光源的设备，包括：

包括像素阵列的图像传感器；

被定位在所述像素阵列上的滤光器阵列；

所述滤光器阵列包括被定位在所述像素阵列的多数像素上的第一类型的滤光器以及被定位在所述像素阵列的少数像素上的第二类型的滤光器，所述第一类型的滤光器被配置成提供滤光，使得人类可感知的来自可见光光谱的光的特定颜色被透射到底层的像素并且被捕捉作为感测到的场景的彩色图像的颜色信息，并且其中所述第二类型的滤光器包括光谱带滤光器，所述光谱带滤光器在可见光光谱的其他部分中具有光谱透射峰并且被配置成将所述可见光光谱的其他部分透射到不向所述感测到的彩色图像贡献颜色信息但捕捉其他可见光光谱信息的不同的底层像素；以及

被配置成执行计算机可读指令的处理器，所述计算机可读指令包括：

响应于感测场景的彩色图像的图像传感器来接收来自所述图像传感器的像素的信息，所述场景的所述感测到的彩色图像至少基于颜色集，并且其中所述像素的多数像素被配置成检测所述颜色集中的一种颜色；

标识专用于捕捉可见光且不专用于检测所述颜色集中的一种颜色的其他像素；

至少基于所述其他像素被配置成来感测的不同的可见光波长范围来将所述其他像素组织成组，其中所述组织进一步包括：在单个组内标识是异常值的像素、丢弃所述异常值，以及评估所述单个组的剩余像素；

使用来自所述组的经评估的剩余像素来标识对所述场景进行照明的光源的类型；

至少基于照明所述场景的所述光源类型来处理所述感测到的彩色图像以产生增强的图像；以及

促使为用户显示所述增强的图像。

2.根据权利要求1所述的设备，其特征在于，其中所述光谱带滤光器具有指示特定类型的光源的对应带宽，或者其中所述光谱带滤光器针对各个个体带宽范围来被选择，从而当所述带宽范围被集中地采用时，所述带宽范围覆盖从约400nm波长到约700nm波长的所述整个可见光光谱。

3.根据权利要求1所述的设备，其特征在于，所述第一类型的滤光器的特定颜色同与所述第二类型的滤光器的透射波长重叠的透射波长相关联。

4.根据权利要求1所述的设备，其特征在于，所述第一类型的滤光器的特定颜色同不与所述第二类型的滤光器的透射波长重叠的透射波长相关联。

5.根据权利要求1所述的设备，其特征在于，所述处理器被进一步配置成接收来自所述图像传感器的信息；以及

从所述接收到的信息的颜色信息中区分其他可见光光谱信息。

6.根据权利要求5所述的设备，其特征在于，所述处理器被进一步配置成评估所述其他可见光光谱信息的分布以标识照明所述场景的光源的类型。

7.一种感测图像和光源的设备实现的过程，包括：

响应于感测场景的彩色图像的图像传感器来接收来自所述图像传感器的像素的信息，所述场景的所感测到的彩色图像至少基于颜色集，并且其中所述像素的多数像素被配置成检测所述颜色集中的一种颜色；

至少基于照明所述场景的所述光源类型来处理所感测到的彩色图像以产生增强的图像；以及

促使为用户显示所述增强的图像。

8.根据权利要求7所述的设备实现的过程，其特征在于，所述的接收信息包括接收从所述像素输出的信号。

9.根据权利要求7所述的设备实现的过程，其特征在于，所述的标识包括根据来自所述图像传感器的关于所述图像传感器上的各个个体像素的相对位置和滤光器类型信息的信息来标识所述其他像素。

10.根据权利要求7所述的设备实现的过程，其特征在于，所述的组织由处理器来执行。

11.根据权利要求7所述的设备实现的过程，其特征在于，其中所述的评估包括评估所述组的各个个体剩余像素的波长范围的光谱分布，或者其中所述的评估包括评估来自所述各个个体剩余像素的在各个个体波长处的所述信息的相对强度。

12.根据权利要求7所述的设备实现的过程，其特征在于，所述的使用包括集中地使用所述信息以生成对所述场景进行照明的可见光波长的光谱分布。

13.根据权利要求7所述的设备实现的过程，其特征在于，所述的使用包括使用所述经评估的剩余像素来检测表示光谱带的峰。

14.根据权利要求13所述的设备实现的过程，其特征在于，还包括使用在特定波长处的所述峰的存在来标识所述光源的类型。

15.根据权利要求7所述的设备实现的过程，其特征在于，所述的使用还包括：

标识所述感测到的彩色图像的灰色区域；

标识任何所述其他像素是否在所述灰色区域中；

确定单独的其他像素的信号分布相比于单独的灰色区域中的各个个体像素的信号分布的比率；以及

将所述比率与由已知光源类型产生的已知比率进行比较以标识所述光源类型。

16.根据权利要求15所述的设备实现的过程，其特征在于，所述的比较包括访问数据表中的已知比率并确定所述比率和各个个体已知比率之间的相似度。

17.根据权利要求16所述的设备实现的过程，其特征在于，所述的比较在所述相似度超过预定义的阈值时标识匹配。

18.一种感测图像和光源的设备，包括：

包括像素阵列的图像传感器；

在可见光光谱中具有第一光谱透射峰的第一可见光滤光器；

在所述可见光光谱中具有第二光谱透射峰的第二可见光滤光器；

被配置成将来自场景的图像聚焦在像素阵列上的透镜，

所述像素阵列包括被配置成通过所述第一可见光滤光器捕捉所述图像的第一像素以及被配置成通过所述第二可见光滤光器捕捉关于所述场景的可见光的信息的第二像素；以及

处理器，所述处理器被配置成至少基于所述第二像素被配置成来感测的不同的可见光波长范围将所述第二像素组织成组，以及在单个组内标识是异常值的像素、丢弃所述异常值，和评估所述单个组的剩余像素。

19.根据权利要求18所述的设备，其特征在于，所述图像传感器包括电荷耦合器件CCD或互补金属氧化物半导体传感器CMOS。

20.根据权利要求18所述的设备，其特征在于，表现为智能电话、平板、可穿戴智能设备、单镜头反射相机、取景器相机或消费者设备。