CN111551251A - 有序光谱成像 - Google Patents

Abstract

一个实施例包含一种有序光谱成像系统，其具有设置于成像传感器上方的滤色器。所述滤色器包含离散或连续光谱的多个色彩组件的区域，并被配置成具有沿着所述成像传感器的斜角的波长带的多个循环，波长带的每一循环包含从红到蓝的完整光谱。另一实施例组合了具有像素化滤色器的宽视野的成像传感器和较小视野的光谱传感器。每个实施例包含成像传感器和光谱传感器的光谱响应是由各自的校准技术获取的。有序光谱成像系统在记录相对于相机移动的目标对象期间获取空间和光谱数据的连续帧序列，按顺序记录跟踪移动目标对象的多个帧。通过校正失真并提取特征的图像处理方法来实现对目标对象的识别和跟踪，然后通过连接不同帧而建立目标对象的完整光谱。

Description

有序光谱成像

相关申请的交叉引用

本申请案要求2019年2月11日提交的标题为“有序光谱成像(SequentialSpectral Imaging)”的第16/272,456号美国申请的优先权，所述美国申请以全文引用的方式并入本文中。

技术领域

本申请涉及成像的技术领域，具体地，本申请涉及使用移动装置的成像应用。

背景技术

相机被广泛地用于移动电话、汽车、个人计算机和智能家居中。除摄影功能之外，它们还代表着可用于许多人工智能(AI)应用的关键实现手段，例如，应用于智能家居、先进农业、汽车自动驾驶、挥手感控和人脸识别等等中。这些应用大多依赖于几何(2D或3D)信息来实现复杂信息的记录和解码。一个额外重要的信息维度是光谱响应。光由多个连续波长组成，且在可见光范围中的这些波长显示出不同的可视颜色。

此类光谱信息(UV、IR、可见光)可作为附加信息以用于智能系统来进行比较和判断。

如今大多数相机由三通道(RGB)组成或者由单一黑白通道组成。通常使用CCD或CMOS光感测装置，且在传感器上应用RGB滤色器。目前此类RGB滤色器通常由基于有机物的可透射材料制成，所述材料作为薄膜沉积在传感器芯片上且通过标准光刻法在光感测层上进行图案化处理。

在常规超光谱成像中使用的仪器通常是很庞大的。另外，因为用于形成2D光谱图像及收集校准光谱数据的空间扫描方法会花费冗长的时间，所以它不足以支持前述的智能应用。一些参考文献提及超光谱系统，但是这些参考文献并未公开实际应用装置，例如Ahlberg,Jorgen的WO 2017/093431号专利申请文件。因此，目前迫切需要一种重量轻便、费用低廉，且适用于移动装置的快速高效的连续光谱成像系统。

发明内容

根据本申请的一个实施例，该实施例中公开了一种有序光谱成像相机。所述有序光谱成像相机包含：安装在相机上的图像传感器，其中所述图像传感器包括：多个对光信号敏感的像素；设置于图像传感器上的滤色器，其中所述滤色器被配置成基于滤色器上的位置而响应多种颜色，其中图像传感器获取图像帧序列，每一图像帧与移动目标对象的光谱、空间和时间数据相关联；时钟，其用以针对图像传感器上的每一像素将时间信息添加到所述图像帧序列；校准模块，其被配置成针对图像传感器的每一像素提供光谱校准数据；以及计算机系统，其能够记录所述图像帧序列，将每一像素的数据与来自校准模块的光谱校准数据进行比较，同步来自时钟的时间信息，并且重构移动目标对象的图像。

滤色器可以具有从300nm到1600nm的离散或连续波长区。本申请中公开的校准设置和方法可被用于在进行成像之前校准所有像素的光谱响应。

滤色器可以具有沿着图像传感器的列和行单调布置的波长区。滤色器可以具有沿着成像传感器的斜角或沿着成像传感器的列/行线的波长带的多个循环，波长带的每一循环均包含完整光谱。斜角设置的优点是可以当用户以水平或竖直定向保持成像相机时提供数据处理的灵活性。

按顺序跟踪同一移动目标对象的多个帧。例如包括失真校正和特征提取等在内的图像处理能够实现跨越多个帧对同一目标对象的识别和跟踪。通过连接同一目标对象在不同帧上的光谱响应，可建立所述目标对象的全光谱。此外，通过与算法，例如同步定位与地图构建(SLAM)等，之间的组合，还可以获得3D体积光谱信息。

本发明还公开了另一有序光谱成像系统。所述第二有序光谱成像系统包括：图像传感器模块，其包括在三个颜色带中对光信号敏感的多个像素，其中图像传感器获取图像帧序列，每一图像帧与移动目标对象的光谱、空间和时间数据相关联，其中图像传感器具有第一视野；与图像传感器相邻设置的光谱传感器模块，其中光谱传感器包括多个与多种颜色吸收范围相关联的色彩组件，以及用于在光谱传感器上分布光的光学组件，其中光谱传感器具有小于所述第一视野的第二视野；时钟，其用以针对图像传感器上的每一像素将时间信息添加到图像帧序列；校准模块，其被配置成针对光谱传感器的每一组件提供光谱校准数据；以及计算机系统，其能够记录图像帧序列，将每一像素的光谱数据与来自校准模块的光谱校准数据进行比较，使来自时钟的时间信息同步，且重构移动目标对象的图像。校准模块包含：宽带光源、波长选择装置和积分球体；宽带光源用于发射某一范围波长的光、波长选择装置能够扫描宽带光源且将宽带光源划分为多个不同波长，积分球体用于将光投影到光谱传感器的各种组件中；其中，该校准模块用于收集且保存光谱传感器的光谱校准数据。

本发明还公开了一种有序光谱成像相机的操作方法，其包括：提供安装在相机上的图像传感器，其中图像传感器包括对光信号敏感的多个像素；针对图像传感器的每一像素校准光谱数据；在图像传感器上设置滤色器，其中滤色器被配置成基于滤色器上的位置而响应多种颜色，其中图像传感器获取图像帧序列，每一图像帧与移动目标对象的光谱、空间和时间数据相关联；针对图像传感器上的每一像素将来自时钟的时间信息添加到图像帧序列；由计算机系统跟踪图像传感器上来自于同一目标对象的一系列不同图像帧的光谱、空间和时间像素数据；用来自校准模块的光谱校准数据处理每一像素的数据；同步来自时钟的时间信息；以及重构移动目标对象的图像。

可选的，成像处理技术可以被用于校正失真，该成像处理技术可以借助于例如同步定位与地图构建(SLAM)和3D体积光谱提取等算法。

另一实施方式包含有序光谱成像系统的操作方法，其包括：提供安装在相机上的图像传感器，其中图像传感器包括对光信号敏感的多个像素，其中图像传感器获取图像帧序列，每一图像帧与移动目标对象的光谱、空间和时间数据相关联；其中图像传感器包括对光信号敏感的多个像素，其中图像传感器获取图像帧序列，每一图像帧与移动目标对象的光谱、空间和时间数据相关联；提供紧靠图像传感器的光谱传感器以从光学均匀器接收散焦光；通过调整第一FOV(Field of View，视野)内的第二FOV而校准有序光谱成像系统；针对图像传感器上的每一像素将来自时钟的时间信息添加到图像帧序列；由计算机系统跟踪图像传感器上来自同一目标对象的一系列不同图像帧的光谱、空间、时间像素数据；以来自校准模块的光谱校准数据处理每一像素的数据；同步来自时钟的时间信息；以及重构移动目标对象的图像；将光谱传感器的第二视野调整到图像传感器的第一视野内。

附图说明

上文已经在一般意义上描述了本发明，现在将参考附图，所述附图并非按比例绘制，并且其中：

图1A是根据本发明的一个实施例的有序光谱成像装置中的具有正交布置的波长的位置可变滤色器的示意图。

图1B示出在300nm到1100nm的波长范围中的滤色器之后的相机检测器的光谱响应。

图1C示出针对300nm到1100nm的波长范围的硅的吸收系数曲线。

图2A示出根据本发明的一个实施例的有序光谱成像装置中的具有斜角布置的波长的位置可变滤色器的示意图。图2B示出根据本发明的一个实施例的具有2x 2斜角布置的波长谱带的另一位置可变滤色器。

图3A-3C是由一个路径中的3个移动帧组成的图像序列的示意图。

图4A-4C示出在关注区(ROI)移动通过一个序列中的五个帧时跟踪目标对象且记录数据。沿着成像路径记录在一系列时间的每一像素的强度和光谱。使用路径的光谱信息，重构目标对象的光谱。

图5示出根据本发明的一个实施例的用于有序光谱成像系统的光谱响应校准设置的示意图。

图6示出根据本发明的一个实施例的一对成像传感器和光谱传感器的示意图。

图7示出根据本发明的第二实施例的以有序光谱成像装置获取的相机的视野内的一个图像。

图8A-8B示出根据本发明的第二实施例的组合光谱系统特性。

图9A-9C示出根据本发明的第二实施例的光谱传感器模块的三种不同布置。

图10示出本发明的第二实施例的校准方法。其示出相机和光谱传感器的FOV覆盖于用以校准感测系统的显示单元中。

具体实施方式

现将在下文参考随附图式更充分地描述本发明的各种实施例，所述随附图式中示出本发明的一些而非全部实施例。实际上，这些发明可以许多不同形式实施并且不应理解为限于本文中所阐述的实施例；相反地，提供这些实施例以使得本发明将满足可适用的法律要求。术语“或”(还表示为“/”)在本文中用于替代和连接性意义，除非另外指明。术语“说明性”和“示例性”用于不具有质量水平指示的实例。相同的数字始终指代相同的组件。图3A是根据本发明的一个实施例的有序光谱成像装置中的具有正交布置的波长的位置可变滤色器的示意图。

本发明包含在下文段落中论述的位置可变滤色器。

图1A是根据本发明的一个实施例的有序光谱成像装置中的具有正交布置的波长的位置可变滤色器的示意图。

图1B是在经过图1A的滤色器阵列之后，在滤光器上的在300nm到1100nm波长范围中的若干位置处的位置可变滤色器的示例性示意光谱特性。滤光器阵列的波长特性在列和行图案中从滤光器阵列左边的紫外光(UV)、中间的可见光以及右边的红外光(IR)单调地改变。图1B中标绘来自滤光器的光谱响应曲线。

参考图1C，硅检测器在～1.1eV下从硅的带隙显著吸收从UV到高达1100nm的中红外光。因此相机的图像传感器矩阵中的单个硅基图像传感器可以由位置可变滤色器任选地划分成大体上多个可见光区和IR区，所述位置可变滤色器具有类似于图1A中示出的滤光器矩阵的连续颜色特性。

在常规相机中，相机中的每一成像组件含有至少三个平行的滤色器，通常为红色、绿色及蓝色，且每一快照图像是目标对象的即时彩色图片。在目标对象相对于相机移动时，可产生连续拍摄的彩色视频。

不同于上文描述的传统相机成像，本发明中的顺序空间成像技术并不将多个滤色器应用到每一成像组件中。而是在相机上使用单个位置可变滤色器，在某个时刻下的某个位置，在所述位置可变滤色器下得到目标对象图像的快照(或一个帧)。当目标对象移动且沿着路径产生移动目标对象的图像序列时，每一图像具有与拍摄图像的不同位置相关联的“失真”但不同的色调。以此方式，虽然顺序图像中的每一个是来自单个位置可变滤色器的“失真”彩色图像，但由同一位置可变滤色器按顺序在不同时间和不同位置取得的图像序列被并入到同一个图像处理数据库中，且对应颜色被重构到图片中。

目前已经存在形成位置可变滤色器的若干技术。在一种设计中，位置变化是连续的，因此波长逐渐改变而无离散相异的波长组件。此类型的连续变化波长滤光器可以通过在光滑衬底上沉积具有递增厚度的干涉膜来制作。在另一设计中，滤色器板可以分成离散色彩组件的矩阵，每一组件的波长特性不同于其相邻者。此类型的位置可变滤色器可以在半导体光刻工艺中通过使用掩模来制造，所述掩模被设置成具有对感光膜的一系列不同曝光，以形成一系列离散膜组件。

滤色器通常由窄带通滤光器组成，当所述滤光器与像素特性组合时为离散或连续的。每一相机像素和滤光器的组合具有1-20nm的半峰全宽(FWHM)，这取决于像素大小以及在从UV、可见光到中红外的光谱范围中的滤光器变化宽度。

图4A示出根据本发明的另一实施例的具有斜角对准光谱组件的示例性滤色器。在一个示例性布置中，存在沿着成像传感器的斜角的波长带，波长带包含全光谱。波长可以沿着斜角从左下角到右上角按顺序布置。

在图像传感器的滤色器中也可形成波长带的多个循环。多个循环可以形成N x N矩阵。图2B示出具有2x 2斜角布置的波长带的另一位置可变滤色器。参考图2B，从红(R)到蓝(B)的波长带从中心到外角斜角地布置，类似于图2A中的一个循环布置。举例来说，它们可由左下方循环中的蓝到红、随后右上方循环中的红到蓝、随后右下方循环中的红到蓝以及左上方循环中的蓝到红等等形成。相邻循环中的波长的反向顺序在用于顺序帧中的移动目标对象过程中，具有平滑信号处理的优点。在相邻循环的边界处，波长带被布置有最小颜色间隙以保证当移动目标对象在传感器上的图像从一个循环下降到下一循环时移动目标对象的平滑转变。举例来说，第一循环中的波长带可以从红到蓝形成，相邻循环中的波长带应当具有从蓝到红斜角地布置，或者以跨越边界的连续颜色来布置。

另外，当区域不是正方形时，滤色器可包含其它图案的多个区域，例如三角形或环形或蜿蜒形状的区域，所有区域具有类似于图2B中所示布置的斜角变化的波长带。它们的边界也被图案化为具有最小颜色间隙以获得如上文所描述的移动目标对象图像的信号处理效率。

在此实施例中，滤色器的波长在每一循环或区域中，沿着斜角定向单调地布置。因此，全部的位置可变滤色器颜色特性形成矩形相机图像区域中的斜角定向的颜色条纹。

图2A和2B中的此类型的斜角滤光器在使用类似于手机的水平或竖直放置的显示装置拍摄图像时，具有灵活性的优点。

举例来说，当手机改变其方向时，时域顺序成像可以不同地表现。在一个定向中的列的方向上执行图像数据扫描时，在不同时间取得的帧序列将与当在相机转动90度之后，在行的方向上执行同一图像数据扫描时不同地表现。由于滤色器是以90度不同次序来应用，因此帧序列将经历不同的颜色重构。而在斜角对准的滤色器中，行和列数据矩阵组件是对称且可互换的，因此当相机在用户的手中旋转90度时颜色重构是较简单的。因此，斜角设计带来相机移动的灵活性和数据收集的效率。

在光谱滤光系统中，每一像素的光谱响应必须在成像之前进行校准，从而在300-1100nm波长范围中并入其光谱响应灵敏度。所有像素的光谱被表征且存储于系统存储器中作为SP11、SP12、SP13、SPmn、...、等，其中SPmn指代类似于图2A中的阵列中的第m行中单调递增的第n像素中的光谱。此处m是从1到M(最后行)的整数，且n是从1到N(最后列)的整数。

在扫描或视频记录期间，针对每一图像帧记录每一像素的图像强度P11、P21、Pij等，其中Pij指代第i行中的单调递增第j像素中的图像强度。在MxN的阵列中，此处i是从1到M(最后行)的整数，且j是从1到N(最后列)的整数。

在扫描或视频记录期间，每一像素具有时间戳P11_t1、P21_t1、...、P11_t2、P21_t2、...、Pij_tz、...等，其中Pij_tz指代在时间tz记录的第i行中的单调递增第j像素中的图像强度。使用图像描述符和图像映射，可随着时间通过不同帧跟踪在位置x的特定目标对象(例如，鼻子的尖端，或领结)。Pij(x)_t1、Pi'j'(x)_t2、...其中(x)跟踪特征在像素空间中的位置；同时，记录与在所述位置的帧i、j相关联的每一像素的强度以及与下一帧i'、j'相关联的像素的强度。在此过程期间可重构反射的目标对象图像的光谱。可同时跟踪一个帧中的多个目标对象；因此可同时重构它们的光谱。在跨越多个连续开放帧的跟踪期间将调整每一目标对象的图像透视和失真。

在成像过程中，目标对象或相机或这两者可以移动。

图3A-3C示出由带有领结的一个男人沿着一个路径的3个移动帧组成的图像序列的示意图，其中图像包含通过领结在帧中的位置、领结的时间戳和领结在所有三个帧中的光谱来跟踪领结运动。

图4A示出在关注区(ROI)移动通过序列中的五个帧时所跟踪的领结的左半部分。图4B示出沿着其路径记录的路径中的每一像素的强度和光谱。图4C示出使用路径的光谱信息重构目标对象的光谱。

参考图4A，作为关注区(ROI)的领结(目标对象)的左半部分在五个加戳的时间(1-5)通过序列中的五个帧的所跟踪数据。

图4B示出在沿着通过有序光谱成像技术记录的移动目标对象路径的像素上检测到的在一个曲线图中重叠的五个光谱强度和光谱响应。

参考图4C，使用从图4B获取的路径的光谱信息重构来自五个示例性帧的移动目标对象的光谱数据的包络。

按顺序跟踪同一移动目标对象的多个帧。例如失真校正和特征提取等图像处理实现了跨越多个帧对同一目标对象的识别和跟踪。通过连接同一目标对象在不同帧上的光谱响应，可建立所述目标对象的全光谱。此外，与例如同步定位与地图构建(SLAM)等算法组合，也可获得3D体积光谱信息。

图5示出根据本发明的另一实施例的第一校准方法。参考图5，来自例如单色器的扫描波长校准源应用于具有光挡扳的积分球体(漫射器)，或跨越相机的视野(FOV)的大的球形漫射器。可以在球体的适当位置设置检测器。

积分球体的使用是用于模拟宽分布光，类似于相机收集的宽分布光。来自整个相机的视野的漫射光到达相机的图像传感器。随后在光源波长从300nm改变到1100nm时，在所有像素上的所得响应数据被记录并保存。

作为可选的实施方案，此有序光谱成像系统可与传统的相机配对。在扫描期间，取得目标对象的清晰图像且同时记录其光谱信息。通过使用传统相机的SLAM算法，可构造目标对象的3D轮廓。通过配对的顺序成像系统可以呈现其表面光谱信息。此附加信息(3D+光谱)可潜在地改善自动驾驶汽车和地理勘察无人机的安全性。

根据本发明中的另一个实施例，本申请还公开了第二有序光谱成像设备，其被配置成具有常规相机中的成像传感器和与成像传感器相邻设置的光谱传感器。

图6示出如上文所描述成对的成像传感器和光谱传感器的示意图。这两个传感器都经过光谱和空间校准。

参考图6，在此成像传感器中，存在例如CCD或CMOS图像传感器等在内的许多检测器，其收集在成像传感器前方的相机透镜的视野(FOV)内接收的光。光谱传感器通过其透镜的设计被配置成具有小得多的FOV。

图7示出根据本发明的一个实施例的由第二有序光谱成像设备获取的示例性图像。在图7的山和树的图片中，成像相机的视野(较小的虚线框)在将成像的完整场景内，外部世界对应于较大矩形框，且光谱传感器的视野对应于来自相机的视野内的光谱传感器FOV的较小虚线圆。通过图5中描述的方法校准光谱传感器，因此相机成像传感器具有从相机的视野中的光谱传感器获得的光谱信息。所记录成像数据是两个传感器的组合。

图8A示出组合有序光谱成像系统的示例性有序光谱成像系统。图8B示出根据本发明的第二实施例的图8A中的系统的光谱特性。在此成像系统中，标准成像传感器阵列包含用于每一像素的在图8A的下部部分中的色彩组件，通常成红、绿和蓝三个颜色。如以上图8A中的像素阵列所示紧靠成像传感器阵列放置的光谱传感器由多个颜色块片形成，每一颜色块片与在下部部分的成像传感器的光谱范围内的一个离散波长带相关联。

参考图8A，成像传感器设置于相机中的滤色器阵列后方，且光谱传感器被设计为8个菱形的集群以用于感测多个所需的波长带。光谱传感器的其它可能的形状可为圆形“切片派”形状、多片段正方形或矩形形状。本质上的意图是通过光电二极管分布和光电二极管上方的光学组件结构的组合，实现跨越光电二极管的均匀辐照度水平，即，来自光电二极管的信号是相同的而与入射光角度无关。

参考图8B，上部绘图示出硅和锗相机成像传感器的相应光谱响应，与来自300nm到1600nm的波长范围中的光谱传感器的代表性颜色透射曲线重叠。

光谱传感器的特性是针对特定应用而设计：如下呈现一些实例。硅对于可见光和近IR(高达1100nm)光是响应性的。锗可集成在硅传感器上以将波长延伸更长直到近1600nm，因为锗具有比硅小的带隙。在一个检测器上的Si和Ge的组合使得更容易实现比CMOS或CCD图像传感器更宽谱带的光电检测器。

仍参看图8B，下部绘图示出在从高于300到700nm的近IR的可见光范围中相机成像传感器的三谱带光谱响应，三个谱带通常以蓝、绿和红布置。

图9A-9C示出根据本发明的第二实施例的光谱传感器的三个不同布置。光谱传感器由若干光电二极管组成，且每一光电二极管包含使具有选定波长带的光通过的颜色涂层。光谱传感器进一步在前部配备有光学系统，所述光学系统包含光学组件，例如透镜、滤光器、漫射器、光学快门、光阑等。

参考图9A-9C，每一个图示出使光谱传感器光电二极管上的光分布均匀的不同方法。在图9A中，薄漫射器膜堆叠于光谱传感器上方。在图9B中，经涂布的体积(厚)漫射器沉积于光谱传感器的顶部表面上。在图9C中，来自目标对象的入射光被故意地散焦以使光遍及光谱传感器散布。为了收集所需目标对象的光谱信息，光谱传感器的视野(FOV)必须对准于相机的FOV内部。因此，顺序空间成像系统首先需要对准步骤。此步骤是空间校准。图10中示出的是绘制为实线矩形的相机的成像传感器和绘制为相机FOV矩形内部的较小圆的光谱传感器的重叠FOV。这两个FOV全部在基于移动像素的图像内部。

一旦通过使光谱传感器FOV在成像传感器的FOV内部而实现对准，则应当使用图5中所示出和上文描述的技术，在成像开始之前执行光谱校准。

相机图像传感器和光谱传感器经过空间和光谱校准，因此光谱传感器还捕获与相机图像传感器的FOV重叠的特定所需区。

空间校准是必要的，因为相机和光谱传感器的相对位置必须满足对公差精度的光学系统要求。首先，相机图像平面用作参考平面。随后，准确定位此参考平面内的光谱传感器的敏感光点。实现空间校准的方法之一是首先在显示屏上投影移动亮斑以点亮像素，并且接着使显示器上的亮斑朝向光谱传感器逐渐移动，同时记录图像传感器和光谱传感器的强度读数。一旦来自光谱传感器的强度读数在某个位置为峰值，亮斑的坐标会显示，记录且存储参考平面中的图像传感器的亮斑坐标。

重要的是校准光谱传感器的完整区域颜色响应，以便得到传感器的FOV内的光谱。这可以通过首先设置宽带光源并且接着让光源扫描通过单色器来实现，所述宽带光源为例如白光或可调谐的发光二极管LED、可调谐的激光器等。可以用市售的单色器来获得具有带有所需光谱分辨率(例如，FWHM～2-10nm)的光谱响应的输出光。这类似于图5中所公开的校准。因为光谱传感器的FOV很小，所以积分球体通常是不必要的。

在任选的操作方式中，类似于上文，跟踪来自两个传感器的顺序图像的帧数据的时间序列。因此，可重构移动目标对象的完整表面的光谱。

有序光谱成像可广泛应用于各种技术领域，如下文中描述。

1.相机颜色再现：与传统的相机相比，有序光谱成像产生更好的颜色再现，具有更丰富且更鲜艳的颜色。操作改进技术还包含打开智能装置上的相机应用程序，执行目标对象瞄准，让装置扫描目标周围的环境的光谱，并确定最佳颜色矩阵以在智能装置中记录图片。

2.生产线质量控制：许多生产线依赖于色谱来检查所生产商品的质量，此类商品包含汽车主体、家用电器面板、手机罩壳、纺织物、书籍封面等。有序光谱成像系统允许获取这些制造工艺的实时2D或3D光谱信息以用于质量检查。在一些情况下，这些工艺的变化动态(例如，颜色变化范围和趋势)是已知的。因此可针对这些变化预校准光谱成像系统，进而针对光谱差异提供高度准确(例如，<0.5最小可觉颜色差)或相当严格的容差结果。

3.更好的自动驾驶汽车：有序光谱成像技术实现具有极好的光谱数据特性的自动驾驶环境数据的准确收集。因此，现实世界道路上的目标对象将具有更好的光谱分辨率和一致准确性。这些目标对象包含道路目标，例如人、动物、路障和道路标志。通过所公开的视觉系统，将更精确地识别这些目标对象。举例来说，除此之外，可以检测附近汽车的独特前灯，这随后应用于获取其建造、型号和年份的车辆数据。由于高分辨率，可更准确地检测汽车的较小部分上的例如“颜色”的详细细节，这在识别车辆方面是关键的。在另一实例中，在更精细的色谱中“红色”BMW可以不同于“红色”奥迪，即使它们在常规相机上可能表现为具有相似的红色。对于另一实例，为了在驾驶汽车时辨识道路上的物体，较好的光谱响应有助于区分床垫与塑胶袋(并非危险)或岩石(带来真实危险)。

4.更好的无人机：无人机的应用之一是在农业中用于分配农药或肥料。各种植物疾病经常具有不同的光谱/比色表现。所公开的有序光谱成像系统可以瞄准更准确的位置以便分配精确的量。配备有有序光谱成像系统和校准存储数据库的无人机将能够更好地检测植物是否有特定疾病，或仅仅是缺乏某些养分。因此无人机可以更准确地分配需要的试剂。

5.面部皮肤护理：人面部具有鲜明颜色的精细特征和层。多波长光源以及来自上文公开的应用有序光谱成像技术的光谱传感器的完整光谱响应可以通过拾取人的面部的所有细节来更准确地成像。成像具有校准的颜色分辨率，从而实现面部光应用中的较为可重复的结果。

6.人脸识别：光谱信号长期以来被用于检查真实性和抵制仿冒。通过有序光谱成像系统，可以在较短时间内(<0.5秒)获取沿着移动路径的具有详细光谱信息的图像序列。与当前人脸识别技术(2D和3D成像)组合，此技术提供比现有技术高若干数量级的安全性。举例来说，可以有效地告知同卵双胞胎之间的差异，此差异经常带来高辨别难度，即使对他们的家庭成员也是如此。

然而，实施例不限于特定实例。在利用实施例的各种方面时，本领域技术人员将显而易见，以上实施例的组合或变化对于制造光学互连件是可能的。虽然已经用对于结构特征和/或方法动作而言特定的语言描述实施例，但是应理解，所附权利要求书不必限于所描述的特定特征或动作。所公开的特定特征和动作实际上应理解为可用于说明的权利要求的实施例。

Claims (20)

1.一种有序光谱成像相机，其包括：

图像传感器，其安装在相机上，其中所述图像传感器包括对光信号敏感的多个像素；

滤色器，其设置于所述图像传感器上，其中所述滤色器在其不同的位置响应特定的光谱和颜色，其中所述图像传感器获取图像帧序列，每一图像帧与相对于所述相机移动的目标对象的光谱、空间和时间数据相关联，其中一个图像帧对应于一个时间点；

时钟，其用以针对所述图像传感器上的每一像素将时间信息添加到所述图像帧序列；以及

计算机系统，其能够记录所述图像帧序列，将每一像素的数据与来自校准模块的光谱校准数据进行比较，使来自所述时钟的所述时间信息同步，且重构所述目标对象的图像和光谱。

2.根据权利要求1所述的有序光谱成像相机，其中所述校准模块包括

宽带光源，用于发射某一范围波长的光；

波长选择装置，用于扫描所述宽带光源且将所述宽带光源划分为多个波长；以及

积分球体，用于将所述光投射到所述图像传感器中；

其中所述校准模块收集且保存所述图像传感器的每一像素的所述光谱校准数据。

3.根据权利要求1所述的有序光谱成像相机，其中所述滤色器包括从300nm到1600nm的离散波长区。

4.根据权利要求1所述的有序光谱成像相机，其中所述滤色器包括从300nm到1600nm的连续波长区。

5.根据权利要求1所述的有序光谱成像相机，其中所述滤色器包括沿着所述图像传感器的列和行单调地布置的波长区。

6.根据权利要求1所述的有序光谱成像相机，其中所述滤色器包括波长带的N x N个区域，其中所述波长带的每一所述区域包含完整波长光谱，其中所述波长带沿着每一所述区域的斜角从蓝到近IR单调地布置，其中N是整数且N≥1。

7.根据权利要求6所述的有序光谱成像相机，其中在每一区域的边缘处的所述波长带具有与在相邻区域中的边界处的波长带相同的颜色以使所述目标对象的图像过度平滑。

8.一种有序光谱成像系统，其包括：

图像传感器模块，其包括在多个颜色带中对光信号敏感的多个像素，其中所述图像传感器获取图像帧序列，每一图像帧与执行相对于所述图像传感器的运动的目标对象的光谱、空间和时间数据相关联，其中所述图像传感器具有第一视野；

光谱传感器模块，其紧靠所述图像传感器设置，其中所述光谱传感器包括与多个颜色吸收范围相关联的多个色彩组件，以及用于在所述光谱传感器上分布光的光学均匀器，其中所述光谱传感器具有小于所述图像传感器的所述第一视野的第二视野；

时钟，其用以针对所述图像传感器上的每一像素将时间信息添加到所述图像帧序列；

校准模块，其被配置成针对所述图像传感器的每一像素提供光谱校准数据；以及

计算机系统，其能够记录所述图像帧序列，比较每一像素的所述光谱数据与来自所述校准模块的所述光谱校准数据，使来自所述时钟的所述时间信息同步，且重构所述目标对象的图像。

9.根据权利要求8所述的有序光谱成像系统，其中所述光谱传感器模块的所述光学均匀器包括透镜和快门，以在所述光谱传感器上分布未聚焦的光。

10.根据权利要求8所述的有序光谱成像系统，其中所述光谱传感器模块的所述光学组件包括透镜、快门和漫射器以在所述光谱传感器上分布漫射光。

11.根据权利要求8所述的有序光谱成像系统，其中所述图像传感器由硅或锗、或硅和锗的组合制成。

12.根据权利要求8所述的有序光谱成像系统，其中与多个颜色吸收范围相关联的所述多个色彩组件具有旋转对称图案。

13.根据权利要求12所述的有序光谱成像系统，其中所述图案具有从四个到八个菱形，八个是示例，可能较窄。

14.根据权利要求8所述的有序光谱成像系统，其中所述图像传感器具有在UV、可见光以及近IR和中IR范围中的光谱响应。

15.一种校准设备，其用于设置根据权利要求8所述的有序光谱成像系统，所述校准设备包括：

宽带光源；

波长选择装置，其能够扫描所述宽带光源且将所述宽带光源划分为多个波长；以及

数据记录器，其将针对所述图像传感器的所述像素中的每一个的光谱响应数据记录为校准数据。

16.一种操作有序光谱成像相机的方法，其包括：

提供安装在相机上的图像传感器，其中所述图像传感器包括对光信号敏感的多个像素；

校准所述图像传感器的每一像素的光谱数据；

在所述图像传感器上设置滤色器，其中所述滤色器被配置成基于所述滤色器上的位置而响应多种颜色，其中所述图像传感器获取图像帧序列，每一图像帧与执行相对于所述相机的运动的目标对象的光谱、空间和时间数据相关联；

针对所述图像传感器上的每一像素将来自时钟的时间信息添加到所述图像帧序列；

通过计算机系统在所述图像传感器上跟踪来自同一目标对象的所述不同图像帧序列的所述光谱、空间、时间像素数据；

以来自校准模块的光谱校准数据处理每一像素的数据；

使来自所述时钟的所述时间信息同步；以及

重构所述目标对象的光谱。

17.根据权利要求16所述的操作有序光谱成像相机的方法，其还包括成像处理，所述成像处理包括借助于例如同步定位与地图构建(SLAM)和3D体积光谱提取等算法来校正失真。

18.一种操作有序光谱成像系统的方法，其包括：

提供安装在相机上的图像传感器，其中所述图像传感器包括对光信号敏感的多个像素，其中所述图像传感器获取图像帧序列，每一图像帧与执行相对于所述相机的运动的目标对象的光谱、空间和时间数据相关联；

提供紧靠所述图像传感器的光谱传感器以从光学均匀器接收散焦光；

通过调整第一FOV内的第二FOV来校准所述有序光谱成像系统；

针对所述图像传感器上的每一像素将来自时钟的时间信息添加到所述图像帧序列；

通过计算机系统在所述图像传感器上跟踪来自同一目标对象的所述不同图像帧序列的所述光谱、空间、时间像素数据；

以来自校准模块的光谱校准数据处理每一像素的数据；

使来自所述时钟的所述时间信息同步；以及

重构所述目标对象的光谱。

19.根据权利要求18所述的校准有序光谱成像系统的方法，包括将所述光谱传感器的所述第二视野调整到所述图像传感器的所述第一视野内。

20.根据权利要求19所述的操作有序光谱成像系统的方法，其还包括成像处理，所述成像处理包括借助于例如同步定位与地图构建(SLAM)和3D体积光谱提取等算法来校正失真。

Images