CN113168707A - 成像系统和成像方法 - Google Patents

Abstract

根据一个方面，提供了一种用于对象成像的成像系统(1)，所述成像系统(1)包括：光谱相机(2)，被配置为在包括多个光谱时间点的光谱捕获时段中捕获对象(6)的光谱图像，所述光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，并且每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点；参考相机(3)，被配置为在包括多个参考时间点的参考捕获时段中捕获所述对象(6)的参考图像，参考捕获时段对应于所述光谱捕获时段，所述参考图像包括多个参考帧，每个参考帧对应于所述多个参考时间点中的一个参考时间点以及所述多个光谱帧中的一个光谱帧；计算单元(4)，被配置为针对所述多个参考帧的子集中的每个参考帧计算运动向量；以及对准单元(5)，被配置为通过将所计算的每个运动向量应用到所述多个光谱帧中与之相对应的所述一个光谱帧来使所述光谱帧彼此对准。根据其他方面，提供了一种用于对象成像的成像方法以及一种计算机程序，当在计算设备上执行所述计算机程序时，所述计算机程序执行对象成像的方法。

Description

成像系统和成像方法

技术领域

本发明的技术领域涉及成像系统，例如，多光谱和高光谱成像系统，以及成像方法，计算机程序和计算机可读介质。

背景技术

本发明的总体背景是光谱成像或光谱分析。光谱成像，例如多光谱或高光谱成像，提供了无法从单光谱通道或三光谱通道(例如，RGB)成像中容易获得的大量信息。当对更复杂的对象(例如，人类的皮肤)成像时，光谱成像的好处更加明显。当对人体皮肤成像时，检测到的背散射光会被包括血红蛋白、黑色素、水、脂质、类胡萝卜素和胆红素在内的几种发色团调制。

反射光谱法是对光作为波长的函数的研究。它找到了许多应用，例如医学应用、材料分析和土壤分析。反射光谱法能够应用是由于不同的材料具有不同的吸收和散射光谱的事实。对于人类皮肤中的发色团也是如此，发色团例如氧化和脱氧的血红蛋白、类胡萝卜素、黑色素、胆红素等。因此，人体皮肤的反射光谱法可以对存在的发色团进行详细分解。因此，将所检测的发色团与(系统的)健康以及人眼和/或传统RGB相机系统无法解决的特定皮肤状况相关联是一种有趣的技术。

反射光谱法通常仅观察单个点或区域的光谱。当参考多光谱成像或高光谱成像时，整个网格(或图像)在不同波长处被观察到。高光谱成像通常可能依赖以下两种技术之一：具有宽带图像捕获功能的窄带光照和具有窄带图像捕获功能的宽带光照(通过可调滤波器)。第一种技术的缺点是，只能容易地产生有限的一组窄带光。因此，第二技术通常是优选的。也存在其他方法，例如高光谱推扫式扫描、马赛克多光谱成像、梯度颜色滤波成像等。

对于帧顺序高光谱成像，光谱图像通常由一系列帧组成(可以视为短片)，其中对于每一帧，滤波器被调到特定波长或波长梯度/图中的波长。因此，在实践中，这样的光谱图像扫描通常需要花费几秒钟的时间才能完成。被成像对象的运动可能意味着该系列的帧将无法对准，导致光谱图像的模糊和较低的空间对比度。

因此，需要提供一种成像系统，其中光谱图像的帧被对准以最小化模糊并最大化空间分辨率。

发明内容

根据第一方面的实施例，提供了一种用于对象成像的成像系统，该成像系统包括：光谱相机，被配置为在包括多个光谱时间点的光谱捕获时段中捕获对象的光谱图像，所述光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，并且每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点；参考相机，被配置为在包括多个参考时间点的参考捕获时段中捕获所述对象的参考图像，参考捕获时段对应于所述光谱捕获时段，所述参考图像包括多个参考帧，每个参考帧对应于所述多个参考时间点中的一个参考时间点以及所述多个光谱帧中的一个光谱帧；计算单元，被配置为针对所述多个参考帧的子集中的每个参考帧计算运动向量；以及对准单元，被配置为通过将所计算的每个运动向量应用到所述多个光谱帧中与之相对应的所述一个光谱帧来使所述光谱帧彼此对准。

因此，根据本发明的实施方式，可以使用所捕获的参考图像的帧来对准所捕获的光谱图像的帧。因此，由于光谱图像的帧被对准，所以图像中的模糊可以被最小化并且图像的空间分辨率可以被最大化。成像系统也可以被认为是图像对准系统和/或图像处理系统。

每个光谱帧在多个波长的一个波长处被捕获。多个波长可以被认为是波长梯度/图，这样每个光谱帧就可以在波长梯度/图的一个波长处被捕获。波长梯度/图可以涉及用于高光谱成像的梯度滤波技术。这种技术可能依赖于在拍摄图像时在相机前面前后移动梯度颜色滤波器，或在拍摄连续图像时移动整个相机以及滤波器(或替代地，移动对象)，从而建立一个高光谱立方体，其中帧与相关波长相对应。该技术还可以使用可变梯度颜色LCD滤波器以进行快速扫描。这样的技术仍然遭受未对准的困扰，因此根据本发明的实施例的运动补偿和重新对准是适用的。

每个光谱帧可以在不同的波长处被捕获，或者两个或多个光谱帧可以在相同的波长处被捕获。此外，所有帧都可以在相同波长处被捕获。例如，光谱相机可以被配置为捕获光谱图像，其中图像的所有帧在一个波长或两个波长(例如，使用两个光谱相机)处被捕获。可以将在相同或两个波长之一处捕获的光谱帧视为提供特定波长或一对波长的电影或视频。例如，当捕获人类对象的血液氧合随时间的函数时，可以使用此方法。

因此，成像系统的光谱相机还可以被配置为在光谱捕获时段中捕获对象的第二光谱图像。第二光谱图像可以包括多个第二光谱帧，每个第二光谱帧在多个波长中的一个波长处被捕获，并且每个第二光谱帧对应于多个光谱时间点中的一个光谱时间点。每个第二光谱帧可以在与(第一)光谱图像的每个(第一)光谱帧不同的波长处被捕获。这可以，例如，以时分多路复用的方式实现，其中可以交替地捕获两个光谱图像的各个帧。

作为光谱相机捕获两个光谱图像的替代，成像系统可以包括两个光谱相机(第一光谱相机和第二光谱相机)。也就是说，以上讨论的光谱相机可以是第一光谱相机，以及成像系统还可以包括第二光谱相机，第二光谱相机被配置为在光谱捕获时段中捕获对象的第二光谱图像。第二光谱图像可以包括多个第二光谱帧，每个第二光谱帧在多个波长中的一个波长处被捕获。每个第二光谱帧可以在与(第一)光谱图像的每个(第一)光谱帧不同的波长处被捕获。

在成像系统中并入多个光谱相机可能有实际原因，例如，每个相机传感器可能捕获的带宽有限。例如，在要扫描从可见光范围到红外范围的大带宽跨度的情况下，最好让一台相机基本捕获可见范围，而让另一台相机捕获红外范围。另外，由于可以并行捕获图像，因此具有多个相机可以加快获取时间。

在包括多个光谱时间点的光谱捕获时段期间捕获光谱帧，并且在包括多个参考时间点的参考捕获时段期间捕获参考帧。光谱捕获时段对应于参考捕获时段，使得光谱时间点对应于参考时间点，并且在各个时间点捕获的帧也对应。光谱时间点的数量可以等于光谱帧的数量，这样光谱帧在每个光谱时间点被捕获。相反，光谱帧的数量可以小于或大于光谱时间点的数量。例如，可以每隔一个光谱时间点捕获一个光谱帧。参考相机的时间点(参考捕获时段的参考时间点)和光谱相机的时间点(光谱捕获时段的光谱时间点)可能匹配，也可能不匹配，例如，如下所述的关于使用插值的方法。

光谱捕获时段和参考捕获时段是独立的，但是可以相似或基本相等，这样光谱图像和参考图像大约在同一时间被捕获。因此，参考相机可以捕获在光谱图像被拍摄时发生的对象的任何运动。捕获时段不必相同，并且可以不具有相同的帧速率。光谱帧的数量可能与参考帧的数量不同。但是，考虑到捕获时段和它们各自的时段之间的对应关系，每个光谱帧对应一个或多个参考帧，每个参考帧对应一个或多个光谱帧。也就是说，光谱帧对应于大约在同一时间捕获的参考帧，这样对象的位置在每个帧中可以基本上相同。一个光谱帧也可以对应一个以上的参考帧，反之亦然。例如，如果在时间t1和t3处建立了参考相机的运动(分别称为M1和M3)，并在时间t2捕获光谱帧，其中t1<t2<t3，然后可以对运动M2进行插值，例如，使用M1+(M3-M1)*(t2-t1)/(t3-t1)来线性插值。

换句话说，光谱相机(例如多光谱或高光谱相机)捕获多个连续的帧。针对被定义为从第一帧的时间最后一帧的时间的捕获间隔，可以应用运动校正。可以通过参考帧估计运动，这些参考帧在大约相同的时间间隔内被捕获。这意味着第一参考帧可以最晚仅比第一光谱帧稍晚(但最好可以在第一光谱帧之前或同时)，最后一个参考帧可能最早出现在最后一个光谱帧稍前(但最好在之后或同时)。假设它们之间有足够的参考帧来确定运动，则可以提供校正。然后，可以对光谱帧的时间点处的精确运动进行插值(或者在需要时在边缘稍微进行外推)。换句话说，不需要光谱捕获时段和参考捕获时段进行同步。捕获时段的时间戳可以是预定的，或者可以根据捕获的帧来建立。

理想情况下，参考相机以每秒至少10帧的速度捕获对象的运动。当(人类)对象机械稳定时，例如通过头枕，就可以非常准确地捕获运动。在这样的帧速率下，可以预测高达2或3帧的可靠的运动。因此，参考相机的捕获时段可以在光谱相机的捕获时段开始之后不迟于200-300ms开始。同样，参考相机的捕获时段可以在光谱相机的捕获时段结束之前不早于200-300ms结束。但是，最好是参考相机的捕获时段完全封装光谱相机的捕获时段。

考虑一个示例，在该示例中，在时间t1和t3处捕获参考帧，并在时间t2捕获光谱帧，为了建立t2处的运动，可以应用插值。如果参考t0处的某个参考帧的在时间t1处的运动被称为M1，并且参考t0处的相同参考帧的在时间t3处的运动被称为M3，则可以使用：M1+(t2-t1)/(t3-t1)*(M3-M1)近似地估计在时间t2处的运动M2。还可以应用更高级的插值方案，其可以取决于更多的时间点，例如三次插值。

注意，在本说明书中，被捕获作为构成光谱图像和参考图像的图像序列的一部分的单个图像称为帧，例如，光谱帧和参考帧。一组帧或一系列帧称为图像。即，多个或一系列光谱帧共同提供光谱图像，并且多个或一系列参照帧共同提供参考图像。

待成像的对象可以是例如人类对象(即，人或人的特定区域，例如面部)，并且可以关于对人类对象进行成像来描述本发明的实施例。但是，本发明的成像系统不限于要成像的对象的特定类型，并且可以应用于任何光谱成像系统和任何对象的成像。

多个光谱帧可以被认为是一起提供光谱图像的光谱帧的序列，堆叠或集合。光谱图像也可以被视为提供短视频的帧的序列或帧的集合，其中每个帧都在多个波长中的任何一个波长处被捕获。也就是说，可以在不同的波长处捕获每个光谱帧，或者可以在相同的波长处捕获一个或多个光谱帧。多个参考帧可以被认为是一起提供参考图像的参考帧的序列，堆叠或集合。在所捕获的光谱图像处的多个波长可以是两个或更多连续光谱带的波长中的波长。光谱带可以从紫外线范围开始直至红外线范围以及包括红外线范围。波长也可以是来自一个或多个光谱带的特定波长范围的波长。

计算单元为多个参考帧的子集中的每个参考帧计算运动向量。多个参考帧的子集可以包括从一个参考帧到全部的多个参考帧中的任何数目的参考帧。因此，可以针对仅一个参考帧、多个参考帧中的每个参考帧或两者之间的任何数目的参考帧，计算运动向量。因此，参考帧的子集中的参考帧的数目可以是一和等于参考相机捕获的参考帧的总数之间的任何整数。子集可优选地包括多个参考帧中的大部分，例如所捕获的参考帧的90％，从而针对大多数参考帧中的每一个参考帧计算运动向量。

针对参考帧的运动向量可以包括运动向量的集合或图(a set or map of motionvectors)。即，计算单元可以被配置为针对多个参考帧的子集的每个参考帧计算运动向量的集合或图。运动向量的每个集合或图可以包括两个或多个运动向量，每个对应于参考帧中的一个像素。换句话说，一个集合或图的运动向量可以包括多个运动向量的组合，每个运动向量对应于(x,y)坐标对。

对准单元可以对准光谱帧，使得对象的对准位点在每个高光谱帧中具有相同的坐标。即，被成像对象的特征可以是对准位点或参考点，并且帧可以被对准以使得该特征出现在每个帧中的相同坐标处。对象的对准位点可以对应于与对象相对于成像系统的位置相关联的空间定位。换句话说，对准位点可以是空间定位，在空间定位处对象的特征关于成像系统(特别地，光谱相机)被定位。

成像系统可以是用于捕获高光谱图像或多光谱图像的系统。因此，光谱相机可以是高光谱相机，光谱图像可以是高光谱图像，并且多个光谱帧可以是高光谱帧。类似地，光谱相机可以是多光谱相机，光谱图像可以是多光谱图像，并且多个光谱帧可以是多光谱帧。

光谱相机的成像轴可以对应于参考相机的成像轴。相机的成像轴可以是共同的/共享的，或者它们可以是基本上共同的，使得参考相机的成像轴与光谱相机的成像轴相对应并且是相当的，但不是完全相同的。

计算单元可以被配置为通过以下来计算每个运动向量：估计多个参考帧中的每个参考帧关于多个参考帧中的给定参考帧的空间位移；以及使用参考帧和高光谱帧之间的预定映射函数映射针对每个参考帧的位移；以及对准单元被配置为通过以下方式使所述光谱帧彼此对准：将针对每个参考帧的经映射的位移应用到对应的光谱帧。

针对参考帧的每个运动向量可以包括运动向量的集合或图。计算单元可以被配置为通过以下方式计算运动向量的集合或图中的每个运动向量：估计多个参考帧中的每个参考帧的x,y坐标对的每个组合关于多个参考帧中的给定参考帧的x,y坐标对的空间位移量，使用参考帧和高光谱帧之间的预定映射函数，映射针对每个参考帧的每个x，y坐标对的位移。对准单元可以被配置为通过以下方式使光谱帧彼此对准：将针对每个参考帧中的x，y坐标对的每个组合的经映射的位移应用到对应的光谱帧。

作为估计和映射参考帧中x,y坐标对的每个组合的空间位移的替代，计算单元可以被配置为估计多个参考帧的每个参考帧中的x，y坐标对的子集中的x，y坐标对的每个组合关于对应的多个参考帧中的给定参考帧的x，y坐标对的空间位移量；以及使用参考帧和高光谱帧之间的预定映射函数，映射针对每个参考帧中的x，y坐标对的子集中的每个x，y坐标对的位移。x，y坐标对的子集可以包括参考帧的x，y坐标对的大部分(例如，90％)。

帧与帧之间的平移通常可以是空间定位的函数，从而关于给定的参考帧，空间位移可以是在x方向和y方向上的。给定的参考帧可以是第一个被捕获的参考帧，例如，在参考捕获时段的开始所捕获的帧。可以使用任何合适的算法来确定空间位移，例如

的光流。在确定位移之前，可以将多个参考帧中的每一个转换为灰度。

映射函数可以被计算。具体地，计算单元可以被配置为通过以下方式计算映射函数：标识光谱图像中与对象特征相对应的点的光谱点集合；标识参考图像中与对象特征相对应的参考点集合；在光谱点集合和参考点集合之间进行回归；并根据回归确定映射函数。成像系统还可以包括被配置为从成像系统的用户接收输入。可以根据来自用户的输入来标识光谱点集合和参考点集合。

可选地，计算单元可以被配置为通过以下方式计算映射函数：将地标检测技术应用于与第一时间点相对应的光谱帧；将地标检测技术应用于与第一时间点相对应的参考帧；将同态映射技术应用于光谱帧和参考帧；以及通过同态映射技术确定映射函数。

参考相机可以是宽带可见光范围相机，或者参考相机可以是窄带相机。参考相机可以是单色相机，或参考相机可能是RGB相机。单色相机也可以被认为是灰度相机，例如，用于获得单色或灰度图像和帧的相机。可以优选地使用宽带信号。

参考相机可以被配置为以预定(固定)带宽捕获参考图像。参考相机可以被配置为以预定(固定)波长捕获参考图像。

光谱相机可以包括被配置为捕获从对象反射的光的光学器件；可调滤波器，所捕获的光穿过可调滤波器，可调滤波器被配置为将光滤波到多个波长中的波长；以及宽带成像传感器，被配置为将穿过可调滤波器的光捕获为光谱帧。可调滤波器可以顺序地调谐到多个波长中的每个波长，以使得在多个波长中的每个波长处捕获光谱帧。可以在光谱捕获时段的每个光谱时间点处对滤波器进行重调谐，使得在每个时间点处捕获具有不同波长的光谱帧。光谱时间点的数量可以对应于多个波长中的波长的数量。例如，波长的数目和光谱时间点的数目可以相等，或者波长的数目可以是光谱时间点的数目的分数，例如一半。

可替代地，可以调谐滤波器，使得每个光谱帧在相同的波长处被捕获，或者使得不止一个帧在相同的波长处被捕获。在这种情况下，例如，可能不会在每个光谱时间点重调谐滤波器，而是在n个时间点的每个时间点重调谐滤波器，其中n是小于或等于光谱捕获时段中光谱时间点数量的整数。

参考相机可以包括：光学器件，被配置为捕获从对象反射的光；以及成像传感器，所捕获的光穿过该成像传感器，并且成像传感器被配置为输出参考帧。可以在参考捕获时段的每个参考时间点处捕获参考帧。

本发明扩展到与系统方面相对应的方法方面。成像方法也可以被认为是图像对准方法或图像处理方法。

具体地，根据第二方面的实施例，提供了一种方法，包括：在包括多个光谱时间点的光谱捕获时段中捕获对象的光谱图像，光谱图像包括多个光谱帧，每个光谱帧在多个波长的一个波长处被捕获，以及每个光谱帧对应于多个光谱时间点中的一个光谱时间点；在包括多个参考时间点的参考捕获时段中捕获对象的参考图像，参考捕获时段对应于光谱捕获时段，参考图像包括多个参考帧，每个参考帧对应于多个参考时间点中的一个参考时间点以及多个光谱帧中的一个光谱帧；针对多个参考帧的子集中的每个参考帧计算运动向量；以及通过将所计算的每个运动向量应用到多个光谱帧中与之相对应的一个光谱帧来使光谱帧彼此对准。

系统和装置方面的特征和子特征可以应用于方法方面，反之亦然。

本发明扩展了计算机程序方面，其根据本发明的任何方法方面或其任意组合，当在计算设备上执行时，执行成像方法。

具体地，根据第三方面，提供了一种计算机程序，当在计算设备上执行该计算机程序时，该计算机程序执行对象成像的方法，该方法包括：在包括多个光谱时间点的光谱捕获时段中捕获对象的光谱图像，光谱图像包括多个光谱帧，每个光谱帧在多个波长的一个波长处被捕获，以及每个光谱帧对应于多个光谱时间点中的一个光谱时间点；在包括多个参考时间点的参考捕获时段中捕获对象的参考图像，参考捕获时段对应于光谱捕获时段，参考图像包括多个参考帧，每个参考帧对应于多个参考时间点中的一个参考时间点以及多个光谱帧中的一个光谱帧；针对多个参考帧的子集中的每个参考帧计算运动向量；以及通过将所计算的每个运动向量应用到多个光谱帧中与之相对应的一个光谱帧来使光谱帧彼此对准。

本发明的方面，例如控制器，可以以数字电子电路或计算机硬件、固件、软件或它们的组合来实现。本发明的各方面可以被实现为计算机程序或计算机程序产品，即有形地体现在例如计算机可读存储设备或传播的信号中的信息载体中的计算机程序，以由其执行或控制一个或多个硬件模块的操作。计算机程序可以是独立程序、计算机程序部分或一个以上计算机程序的形式，并且可以用任何形式的编程语言(包括编译或解释的语言)编写，并且可以以任何形式进行部署，包括作为独立程序或作为模块、组件、子例程或其他适合在通信系统环境中使用的单元。可以将计算机程序部署为在一个站点上的一个模块或多个模块上执行，或者分布在多个站点上并通过通信网络互连。

本发明的方法步骤的方面可以由执行计算机程序以通过对输入数据进行操作并生成输出来执行本发明的功能的一个或多个可编程处理器来执行。本发明的装置的各方面可以被实现为编程硬件或专用逻辑电路，包括例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

例如，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行耦合到一个或多个用于存储指令和数据的存储设备的指令的处理器。

因此，可以看出，本发明的实施例可以提供用于对准诸如多光谱或高光谱图像之类的光谱图像中的帧的装置，从而可以使模糊最小化并且可以使空间分辨率最大化。

附图说明

本公开的实施例可以采取各种部件和部件布置以及各种步骤和步骤布置的形式。因此，附图是出于图示各种实施例的目的，并且不应被解释为限制实施例。在附图中，相同的附图标记指代相同的元件。另外，应注意，附图可能未按比例绘制。

图1是根据本发明的一般实施例的成像系统的框图；

图2是根据本发明一般实施例的成像方法的流程图；

图3示出了包括多个高光谱帧的示例高光谱图像的图；以及

图4是根据本发明一方面的实施例的示例相机配置的框图。

具体实施方式

参考在附图中描述和/或示出并且在以下描述中详细描述的非限制性示例，更充分地解释了本公开的实施例及其各种特征和有利细节。应当注意，附图中示出的特征不必按比例绘制，并且即使没有在此明确说明，本领域技术人员也可以将一个实施例的特征与其他实施例一起使用。可以省略对众所周知的组件和处理技术的描述，以免不必要地使本公开的实施例晦涩难懂。本文使用的示例仅旨在促进对可以实践本发明的实施例的方式的理解，并且还使得本领域技术人员能够实践该实施例。因此，本文的示例不应解释为限制本公开的实施例的范围，本公开的实施例的范围仅由所附权利要求书和适用法律来定义。

应当理解，本公开的实施例不限于本文描述的特定方法，协议、设备、装置、材料、应用等，因为这些可以变化。还应理解，本文所使用的术语仅出于描述特定实施方案的目的而使用，并不旨在限制所要求保护的实施方案的范围。必须注意的是，如本文和所附权利要求书中所使用的，单数形式“一个”、“一种”和“该”包括复数形式，除非上下文另外明确指出。

除非另有定义，否则本文所使用的所有技术和科学术语具有与本公开的实施例所属的本领域的普通技术人员通常所理解的相同的含义。描述了优选的方法、装置和材料，尽管与本文描述的那些方法或材料相似或等同的任何方法和材料都可以用于实施或测试实施例。

如上所述，急需提供一种光谱成像系统和方法，其中可以通过对准光谱图像的帧来补偿被成像对象的运动，从而可以使模糊最小化并且使空间分辨率最大化。本发明的实施例提供了一种成像系统和成像方法，其中运动向量被计算并应用到光谱图像帧，例如高光谱图像帧，以使得由光谱相机拍摄的帧被对准。运动向量从参考图像的帧被计算。可以认为本发明的实施例涉及多光谱成像、高光谱成像、图像配准和/或图像对准。

图1是根据本发明的一般实施例的成像系统的框图。成像系统1包括光谱相机2、参考相机3、计算单元4和对准单元5。光谱相机2被配置为捕获正在被成像的对象(例如，人类对象)的光谱图像。参考相机3被配置为捕获对象的参考图像。参考图像可以在预定波长和/或预定带宽处被捕获。计算单元4被配置为针对多个参考帧的子集中的每个参考帧计算运动向量。对准单元5被配置为通过将每个所计算的运动向量应用到与之相对应的所述多个光谱帧中的所述光谱帧来使所述光谱帧彼此对准。

图1示出了成像系统1的布局，仅作为示例框图，以帮助理解，以及根据本发明的实施例，成像系统的组件可以不同地布局。例如，光谱相机2和参考相机3可以共享元件，或者可以是在空间上分离的单独的组件。作为计算机系统的一部分，计算单元4和对准单元5可以由处理器或单独的处理器提供，该计算机系统被配置为处理由光谱相机2和参考相机3捕获的图像数据。计算单元4可以被提供为光谱相机2和/或参考相机3的一部分。类似地，对准单元5可以被提供为光谱相机2和/或参考相机3的一部分。

图2是根据本发明一般实施例的成像方法的流程图。在步骤S51，对象的光谱图像被捕获。在包括多个光谱时间点的光谱捕获时段的时间段中，光谱图像被捕获。所捕获的光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，以及每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点。可以在不同的波长处捕获每个光谱帧，或者可以在相同的波长处捕获一个或多个光谱帧。在步骤S52，对象的参考图像被捕获。可以在预定波长和/或预定带宽处捕获参考图像。在包括多个参考时间点的参考捕获时段的时间段中，参考图像被捕获。参考捕获时段对应于光谱捕获时段。参考图像包括多个参考帧，每个参考帧对应于多个参考时间点中的一个参考时间点以及多个光谱帧中的一个光谱帧。在步骤S53，计算针对多个参考帧的子集的每个参考帧的运动向量。最后，在步骤S54，光谱帧被对准彼此。通过将每个所计算的运动向量应用到与之相对应的多个光谱帧中的光谱帧来使光谱帧彼此对准。

本发明涉及光谱成像，并且特别地，本发明的一方面的实施例涉及人类对象的光谱成像。光谱成像系统可以是高分辨率的高光谱成像系统，其包括用于对人类对象成像的高光谱相机。但是，当对人类对象进行成像时，对象可能会在成像过程中自愿或非自愿地移动。

根据本发明的实施例，可以通过将运动向量应用到每个图像帧来补偿在捕获多个高光谱或多光谱图像帧的过程中由于人类对象的自然运动而产生的空间依赖的成像伪像。运动向量是从使用参考相机同时捕获的图像帧(参考帧)中得出的。因此，本发明的实施例可以允许在每个图像像素处进行无运动伪像的光谱分析，从而得到高分辨率的合成图像。

参考相机可能与高光谱相机具有共同的成像轴，以使两个相机的图像都沿着共同的成像轴被捕获。相机的成像轴可以是基本上共同的，使得参考相机的成像轴与光谱相机的成像轴相对应并且是相当的，但不是完全相同的。例如，光谱相机和参考相机可以作为相同成像元件的一部分被提供，但是可以彼此相邻，使得成像轴不相同而是相似的。具体示例是在智能手机中将高光谱/多光谱相机放置在常规RGB相机旁边的情况。因此，成像轴可以是相同的或相似的。

为了允许对参考相机捕获的物体进行运动估计并将估计的运动应用于光谱相机，两个相机都应具有该物体(对象)的基本上共同的视图。因此，参考相机的轴与光谱相机的轴之间的角度不应相差几度(例如2度)。在1m的物距下(即，如果被拍摄对象与相机之间的距离为1m)，这转化为光谱摄像相机和参考相机之间的距离大约为几厘米。但是，对于物体基本平坦的情况，可以容许更大的角度。

如上所述，光谱图像通常由一系列帧(可以视为短片)组成，其中对于每个帧，滤波器被调谐到特定波长。在高光谱图像中，可以在与连续光谱带的波长不同的波长处捕获每个帧，例如，从紫外线范围到红外线范围。因此，高光谱图像扫描需要高达若干秒才能完成。

在对人类对象成像时，人类对象通常会在扫描过程中进行微小的移动。人们通常会对光谱成像中特定空间定位的光谱感兴趣，因此必须将光谱图像的全部的所捕获帧对准。也就是说，针对对象(例如人脸)的在440nm波长处被扫描并位于坐标(X,Y)的某个点，在例如700nm处被扫描的人脸的相同点应位于相同的坐标(X,Y)。如果该点在多个帧中没有出现在相同坐标处，则任何完成的处理都可能导致模糊和降低的空间对比度。

图3示出了包括多个高光谱帧的示例高光谱图像的图。具体地，光谱图像可以是包括多个高光谱帧的人脸的高光谱图像。多个高光谱帧中的每个在多个波长的波长处被捕获。即，对于每一帧，将高光谱相机的滤波器调谐到特定波长，以便在特定波长处捕获帧。可以在不同的波长处捕获每个光谱帧，或者可以在相同的波长处捕获一个或多个光谱帧。

图3中的x轴表示时间，y轴表示波长值。因此，可以看到，对于一个时间段中的每个时间点，在一个波长处捕获了一个帧。波长可以是多个连续光谱带的波长，并且可以从紫外线范围一直延伸到红外范围并包括红外范围。可以在不同的波长处捕获每个光谱帧，或者可以在相同的波长处捕获一个或多个光谱帧。与仅得出红色、绿色和蓝色图像的传统摄影相比，生成了不同波长的多个(堆叠、序列、集合等)图像(称为帧)。

高光谱或多光谱成像中图像对准的过程还受到以下事实的阻碍：图像在某些波长(例如，在IR范围内)可能具有非常有限的空间对比度或细节。例如，在可见光谱中的某个波长处(例如490nm)捕获的帧，帧的空间细节要比在红外范围内的波长(如1010nm)处的帧高得多。还应注意，即使确保了最大的机械稳定性，仍然可能发生小的运动。

如上所述，本发明实施例的主要元素包括：光谱成像相机部件(例如多光谱或高光谱)，用于对象进行成像，该相机在波长处顺序拍摄图像(帧)，产生一系列图像；参考照相机部件，在固定的带宽和波长处对对象成像，该参考照相机部件被配置为具有与光谱成像相机部件相同的(或基本上共同的)成像轴；光谱成像相机和参考相机同时记录图像帧；从参考图像帧计算运动向量；将所计算的运动向量应用到光谱图像帧来对准帧。

图4是根据本发明一方面的实施例的示例相机配置的框图。相机配置捕获对象6的图像，并输出包括多个高光谱帧的高光谱图像20和包括多个参考帧30的参考图像。图4的相机配置包括光学器件21，可调滤波器22，宽带成像传感器23和RGB成像传感器31。

相机配置可以被认为包括光学器件21，可调滤波器22和宽带传感器23的高光谱成像系统以及参考相机系统，包括RGB传感器31并共享高光谱系统的光学器件21(可调滤波器22除外)。从对象6反射的光被系统的光学器件21捕获。对于高光谱图像的每一帧，该光通过可移动到特定波长的可调滤波器22被馈送。宽带成像传感器23将穿过滤波器22的光捕获到提供高光谱图像的高光谱帧序列中。并行地，由光学器件21捕获的光也被馈送到RGB相机传感器31，其输出提供参考图像的RGB帧序列。

参考相机的一个重要方面是它应提供具有足够空间细节的参考图像和参考帧。通常可以通过选择参考系统的合适光学器件来实现这一点，该光学器件可以捕获可见光谱的很大一部分。因此，参考相机可以是捕获宽带可见范围的相机，并且可以替代地，可以是窄带相机，只要所选择的相机的带宽以捕获足够的空间细节和分辨率即可。对于全脸高光谱/多光谱成像的应用，参考相机最好至少具有VGA分辨率(640×480像素)。参考相机可以是RGB相机或灰度相机。

需要参考图像的空间细节，以便可以确定参考帧之间的位移。从光谱图像不能直接确定位移，因为处于特定波长的光谱图像帧的空间细节不足以确定位移。例如，与参考帧相比，在IR范围内的波长处捕获的光谱帧的空间细节将大大减少。

从参考图像的参考帧确定映射向量。第一步，估计使用参考相机(例如RGB相机)的对象的运动。为此，可以首先将RGB图像(信号)转换为包含多个灰度帧的灰度图像。灰度帧然后被馈送通过运动估计器，该运动估计器估计每个帧关于预定义参考帧(例如，第一帧)的(本地)位移量。

换句话说，通过估计第一帧向第二参考帧的本地位移来估计运动向量。因此，给定两张HxW像素的图像，输出是HxW像素的位移图，位移图描述了第一帧的每个像素需要移动多少以便被映射到参考帧上。用于确定位移的许多算法在本领域中是已知的，例如，

的光流法。

结果，对于每个RGB帧，(本地)位移量是已知的。现在需要将这些位移叠加到高光谱帧上。首先，尽管共享光学器件，但由于传感器尺寸不同以及传感器的微小位移，高光谱和RGB帧通常不会完美匹配。因此，在叠加位移之前，需要先对其进行映射。为此，使用预定的映射函数将参考帧映射到光谱帧。还要注意的是，尽管参考相机和高光谱/多光谱相机都可能(基本上)共享相同的光轴，由于传感器的尺寸、分辨率和在朝向两个相机的光学轨迹中的部分其他光学元件不同，参考帧中像素定位(x,y)处的物体不对应于高/多光谱帧中相同的像素定位(x,y)处的物体。映射被提供以用来补偿该差异。有效的是，创建原始图像的宽带表示的任何映射都是合适的。

还可以使用以下两种所提供的计算技术来计算映射。用于计算映射的两种方法可以被认为是离线的和在线的。

在第一种技术中，捕获一组图像，并且针对这些图像在高光谱和RGB相机图像中双重地手动标注大量点。这些点可能是，例如，个体的头发、皱纹、眼睛、雀斑等。然后在两组点之间进行回归，从而有效地获得映射公式。优选地使用具有足够空间细节的参考对象的图像，例如相机分辨率测试图。

使用第一种技术时，其想法是找到一个映射以告诉参考相机的像素位置(x,y)如何映射到高光谱/多光谱相机上的像素位置(x’,y)’。根据拍摄的一个或多个图像，人员标注大量的匹配坐标对(x,y),(x’,y’)。然后将所有这些对都馈送到算法中，该算法找到用于将任何(x,y)映射到(x’,y’)的最佳参数。在一个非常简单的示例中，该算法将找到x’＝(a*x)+(b*y)和y’＝(c*x)+(d*y)中的a、b、c和d。

在第二种技术中，地标检测技术(例如，尺度不变特征变换——SIFT)被应用到约在相同的时间点拍摄的高光谱帧中的一帧和RGB帧中的一帧。然后，使用同态映射技术(例如，随机样本共识——RANSAC)来确定高光谱帧和RGB帧之间的最佳映射。

第二种技术试图建立与第一种技术相似的东西，但是特征检测和匹配/滤波被用于查找匹配点(坐标对)。这样做的优点是可以补偿发生的微小偏差(随着时间的推移和/或由于装置而引起的偏差)。第二种技术的缺点是附加的复杂性，并且如果匹配不佳，可能会引入错误。

确定映射函数之后，所检测的运动通过针对每个参考帧的映射函数被映射并且被应用到高光谱图像中的相应高光谱帧。作为结果，高光谱图像的序列将被正确地对准。如上所述，可以使用灰度或窄带相机代替RGB相机作为参考相机。图像中存在足够空间细节的任何相机均适用。

从上面可以看出，本发明的实施例可以提供一种成像系统，其中使用参考图像对准光谱图像的帧，以使得可以补偿被成像的对象在成像过程中的运动，并且可以使模糊最小化以及使空间分辨率最大化。本发明的实施例可以克服上面讨论的技术中的缺点。

尽管以上仅详细描述了几个示例性实施例，但是本领域技术人员将容易理解，在基本上不脱离本公开的新颖性教导和优点的情况下，可以对示例性实施例进行许多修改。本发明的上述实施例可以有利地独立于实施例中的任何其他实施例使用，或者与实施例中的一个或多个其他实施例以任何可行的组合来使用。

因此，所有这样的修改旨在被包括在如所附权利要求所限定的本公开的实施例的范围内。在权利要求中，装置加功能的条款旨在覆盖本文描述的执行所叙述的功能的结构，不仅覆盖结构上的等同物，而且还覆盖等同的结构。

另外，在一个或多个权利要求中的括号中放置的任何参考符号不应被解释为对权利要求的限制。单词“包括”和“包含”等不排除任何权利要求或整个说明书中列出的元件或步骤之外的元件或步骤的存在。元件的单数形式并不排除此类元件的复数形式，反之亦然。可以借助于包括几个不同元件的硬件来实现一个或多个实施例。在列举几个装置的设备或装置权利要求中，这些装置中的几个可以由一个且相同的硬件来体现。在互不相同的从属权利要求中叙述某些措施这一事实，并不表示不能有利地使用这些措施的组合。

Claims (14)

1.一种用于对象成像的成像系统(1)，所述成像系统(1)包括：

光谱相机(2)，被配置为在光谱捕获时段中捕获对象(6)的光谱图像，所述光谱捕获时段包括多个光谱时间点，所述光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，并且每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点；

参考相机(3)，被配置为在参考捕获时段中捕获所述对象(6)的参考图像，所述参考捕获时段包括多个参考时间点、并且对应于所述光谱捕获时段，所述参考图像包括多个参考帧，每个参考帧对应于所述多个参考时间点中的一个参考时间点、以及所述多个光谱帧中的一个光谱帧；

计算单元(4)，被配置为针对所述多个参考帧的子集中的每个参考帧计算运动向量；以及

对准单元(5)，被配置为通过将所计算的每个运动向量应用到所述多个光谱帧中与之相对应的所述一个光谱帧，来使所述光谱帧彼此对准。

2.根据权利要求1所述的成像系统(1)，其中所述对准单元(5)被配置为对准所述光谱帧，以使得所述对象(6)的对准位点在所述光谱帧中的每个光谱帧中具有相同的坐标。

3.根据权利要求2所述的成像系统(1)，其中所述对象(6)的所述对准位点对应于空间定位，所述空间定位与所述对象(6)关于所述成像系统(1)的位置相关联。

4.根据前述权利要求中任一项所述的成像系统(1)，其中

所述光谱相机(2)是高光谱相机，所述光谱图像是高光谱图像，并且所述多个光谱帧是高光谱帧；或

所述光谱相机(2)是多光谱相机，所述光谱图像是多光谱图像，并且所述多个光谱帧是多光谱帧。

5.根据前述权利要求中任一项所述的成像系统(1)，其中所述光谱相机(2)的成像轴对应于所述参考相机(3)的成像轴。

6.根据前述权利要求中任一项所述的成像系统(1)，其中

所述计算单元(4)被配置为通过以下来计算每个运动向量：

估计所述多个参考帧中的每个参考帧关于所述多个参考帧中的给定参考帧的空间位移量；以及

使用所述参考帧与所述高光谱帧之间的预定映射函数，映射针对每个参考帧的所述位移；并且

所述对准单元(5)被配置为通过以下来使所述光谱帧彼此对准：

将针对每个参考帧的经映射的所述位移应用到对应的所述光谱帧。

7.根据前述权利要求中任一项所述的成像系统(1)，其中所述参考相机(3)是宽带可见范围相机。

8.根据权利要求1-6中任一项所述的成像系统(1)，其中所述参考相机(3)是窄带相机。

9.根据前述权利要求中任一项所述的成像系统(1)，其中所述参考相机(3)是以下一项：

单色相机；以及

RGB相机。

10.根据前述权利要求中任一项所述的成像系统(1)，其中所述参考相机(3)被配置为在以下一项或多项处捕获所述参考图像：

预定波长；以及

预定带宽。

11.根据前述权利要求中任一项所述的成像系统(1)，其中所述光谱相机(2)包括：

光学器件(21)，被配置为捕获从所述对象(6)反射的光；

可调滤波器(22)，所捕获的所述光穿过所述可调滤波器(22)，并且所述可调滤波器(22)被配置为将所述光滤波到所述多个波长中的波长；以及

宽带成像传感器(23)，被配置为将穿过所述可调滤波器而来的所述光捕获为光谱帧。

12.根据前述权利要求中任一项所述的成像系统(1)，其中所述参考相机(3)包括：

光学器件(21)，被配置为捕获从所述对象(6)反射的光；以及

成像传感器(31)，所捕获的所述光穿过所述成像传感器，并且所述成像传感器(31)被配置为输出参考帧。

13.一种用于对象成像的成像方法，所述方法包括：

在光谱捕获时段中捕获对象(6)的光谱图像，所述光谱捕获时段包括多个光谱时间点，所述光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，并且每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点；

在参考捕获时段中捕获所述对象(6)的参考图像，所述参考捕获时段包括多个参考时间点、并且对应于所述光谱捕获时段，所述参考图像包括多个参考帧，每个参考帧对应于所述多个参考时间点中的一个参考时间点、以及所述多个光谱帧中的一个光谱帧；

针对所述多个参考帧的子集中的每个参考帧计算运动向量；以及

通过将所计算的每个运动向量应用到所述多个光谱帧中与之相对应的所述一个光谱帧，来使所述光谱帧彼此对准。

14.一种计算机程序，所述计算机程序在计算设备上被执行时执行对象成像的方法，所述方法包括：

在光谱捕获时段中捕获对象(6)的光谱图像，所述光谱捕获时段包括多个光谱时间点，所述光谱图像包括多个光谱帧，每个光谱帧在多个波长中的一个波长处被捕获，并且每个光谱帧对应于所述多个光谱时间点中的一个光谱时间点；

在参考捕获时段中捕获所述对象(6)的参考图像，所述参考捕获时段包括多个参考时间点、并且对应于所述光谱捕获时段，所述参考图像包括多个参考帧，每个参考帧对应于所述多个参考时间点中的一个参考时间点、以及所述多个光谱帧中的一个光谱帧；

针对所述多个参考帧的子集中的每个参考帧计算运动向量；以及

通过将所计算的每个运动向量应用到所述多个光谱帧中与之相对应的所述一个光谱帧，来使所述光谱帧彼此对准。

Images