CN115096441B - 光谱恢复方法 - Google Patents

Abstract

本申请涉及一种光谱成像恢复方法及装置。该光谱成像恢复方法包括：由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元。这样，通过以彼此间隔的包含结构单元阵列的调制单元为单位进行光谱恢复的计算，提高了光谱恢复的计算效率。

Description

光谱恢复方法

技术领域

本申请涉及光谱技术领域，更为具体地说，涉及一种光谱恢复方法。

背景技术

光谱成像技术是一种将光谱探测和成像有机结合的技术，能够对某一物体进行不同光谱下的成像，同时获得被探测物体的几何形状信息和光谱特征。光谱成像技术已经成为对地观测和深空探测的重要手段，被广泛应用于农牧林生产、矿产资源勘查、文物检测、海洋遥感、环境监测、防灾减灾、军事侦察等领域。

采用光谱成像技术的光谱仪已经成为科研和工业中最常用的测量工具之一。目前，传统的成像芯片及成像设备，例如相机包含有图像传感器，用以获取物体RGB三种颜色的图像信息。而光谱成像技术主要是基于光谱仪加上机械扫描结构实现的，该方案需要的机械扫描的精度控制以及扫描步长之间的权衡会带来成本的上升和时间维度分辨率的降低。

除此之外，利用滤光片和光探测阵列实现的光谱仪因为其天然的二维感光结构优势，可以通过光谱仪的阵列化直接实现光谱成像，该方案在成本、时间分辨率、集成度上有不可替代的优势。

因此，期望提供适用于光谱仪的光谱恢复方案。

发明内容

本申请实施例提供了一种光谱恢复方法，其通过以彼此间隔的包含结构单元阵列的调制单元为单位进行光谱恢复的计算，提高了光谱恢复的计算效率。

根据本申请的一方面，提供了一种光谱恢复方法，包括：由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；以及，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元。

在上述光谱恢复方法中，所述调制单元间隔的结构单元的数目等于所述调制单元包括的结构单元的数目的平方根。

在上述光谱恢复方法中，所述调制单元间隔的物理像素的数目不小于设定调制结构单元的数目。

在上述光谱恢复方法中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目。

在上述光谱恢复方法中，所述光调制层包括具有滤光结构的所述调制单元和不具有滤光结构的非调制单元。

在上述光谱恢复方法中，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息包括：获取所述光谱像素的每个结构单元对应的光强信息，以得到响应向量；获取所述光调制层的调制矩阵和噪声向量；以及，基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量，以获得所述入射光的光谱信息。

在上述光谱恢复方法中，所述基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息进一步包括：获取所述光谱像素单元中物理像素和结构单元的数目及位置坐标；以及，当判断物理像素的数目大于结构单元中结构的数量时，基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量，以获得所述入射光的光谱信息。

在上述光谱恢复方法中，进一步包括：获取所述每个结构单元中每个结构调制后的透射谱；根据获取的所述透射谱判断透射谱的相关性；确定所述结构单元下不相关的透射谱的位置坐标；以及，根据所述位置坐标确定空洞卷积率。

在上述光谱恢复方法中，所述入射光的光谱向量为X=[λ₁, λ₂, ……, λ_N]^T，所述响应向量为Y=[Y₁, Y₂, ……, Y_M]^T，所述调制矩阵和所述噪声向量分别为D：

且W=[W₁, W₂, ……, W_n]^T，则Y=DX+W。

在上述光谱恢复方法中，在获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号之后进一步包括：对所述响应向量Y进行修正以获得修正的响应向量Y’，表示为：

Y’={exp[(R₁Y)*(R₂Y)^T]}*(P*H)

其中R₁和R₂分别是权重矩阵，且P是权重向量，H是所述响应向量Y的距离矩阵，其每个位置对应于所述响应向量Y的相应的两个位置之间的距离值。

在上述光谱恢复方法中，所述权重矩阵R₁和R₂的参数和所述权重向量P的参数通过标定或者训练得到。

根据本申请的另一方面，提供了一种光谱恢复方法，包括：由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；以及，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目。

在上述光谱恢复方法中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元。

本申请实施例提供的光谱恢复方法可以通过以彼此间隔的包含结构单元阵列的调制单元为单位进行光谱恢复的计算，提高了光谱恢复的计算效率。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本申请各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。

图1图示了根据本申请实施例的光谱成像芯片的结构示意图。

图2图示了根据本申请实施例的光谱成像芯片的物理像素、结构单元和调制单元的对应关系的示例的示意图。

图3图示了根据本申请实施例的光谱成像芯片的光调制层的示例性设置的示例。

图4图示了根据本申请实施例的光谱成像芯片的光谱像素中的结构单元的示意性阵列布置。

图5图示了现有的光谱恢复方法的计算方式和根据本申请实施例的光谱恢复方法的计算方式的示意图。

图6图示了根据本申请实施例的光谱恢复方法的一个示例的示意性流程图。

图7图示了现有的无空洞窗口和根据本申请实施例的光谱恢复方法的窗口空洞的示例的示意图。

图8图示了根据本申请实施例的光谱恢复方法中的光谱成像芯片的传感器的结构单元的示意图。

图9图示了根据本申请实施例的光谱恢复方法的确定空洞卷积率的过程的流程图。

图10图示了根据本申请实施例的光谱恢复方法的另一示例的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性方法

图1图示了根据本申请实施例的光谱成像芯片的结构示意图。

如图1所示，根据本申请实施例的光谱成像芯片100可以包括：光调制层110、图像传感层120和信号处理电路层130，并且，光调制层110、图像传感层120和信号处理电路层130沿厚度方向顺次层叠设置。光调制层110沿表面分布有至少一个调制单元1101。图像传感层120沿表面分布有多个传感单元1201，且每个调制单元1101沿厚度方向分别对应至少一个传感单元1201，每个调制单元1101与对应的传感单元120构成光谱成像芯片的一个光谱像素，所述每个光谱像素可以对应多个图像传感器的物理像素。也就是，可以是图像传感层的每一个物理像素对应光调制层的一个调制单元，也可以是多个像素对应一个调制单元。

信号处理电路层130与传感单元1201电连接，信号处理电路层130用于执行信息处理方法，以确定待成像对象的图像信息以及光谱信息。在本申请实施例中，所述调制结构可以是中国专利CN201921223201.2中的光调制层，并且，在根据本申请实施例的技术方案中，各个位置的滤波特性不必已知。此外，在根据本申请实施例的技术方案中，也可以没有滤光结构，这样，图像传感器的阵列各点具有不同的光谱响应，比如量子点，纳米线等方案均可以实现这种结构。图像传感层120具体可以是CIS晶圆，图像传感层120中的每个传感单元均对应为CIS晶圆中的一个像素，用于对经过光调制层的光束进行探测。举例但不限定，可以是从晶圆级别直接在CIS晶圆上单片集成微纳结构光调制层，利用CMOS工艺一次流片可完成光谱成像芯片的制备。

并且，在根据本申请实施例的光谱成像芯片中，每个调制单元可以具有多个结构单元，且每个结构单元也可以对应于一个或多个物理像素。图2图示了根据本申请实施例的光谱成像芯片的物理像素、结构单元和调制单元的对应关系的示例的示意图。如图2所示，每3*3个物理像素对应一个结构单元，每个调制单元具有20*20个结构单元，并且，每个调制单元再周期性设置。

此外，在根据本申请实施例的光谱成像芯片中，所述光调制层可以具有调制单元和非调制单元。图3图示了根据本申请实施例的光谱成像芯片的光调制层的示例性设置的示例。如图3所示，为了得到部分成像区域的光谱信息，所述光调制层设置为包括至少一个调制单元和至少一个非调制单元，其中，调制单元和非调制单元可以交替排布。由于每个调制单元对应的像素点的频谱信息有可能无法用于确定待成像对象的完整图像信息，因此需要根据目标光束照射后每个非调制单元对应的像素点的光强信息，确定出待成像对象的图像信息。具体的方式可以忽略每个调制单元对应的像素点的光强信息，仅仅采用所有非调制单元对应的像素点的光强信息确定出待成像对象的图像信息；还可以先通过每个非调制单元对应的像素点的光强信息确定出每个调制单元对应的像素点的光强信息，然后结合所有非调制单元对应的像素点的光强信息共同确定出待成像对象的图像信息。

在本申请实施例中，所述光谱成像芯片利用光调制层的调制单元对入射光进行光调制，以得到调制后的光谱；利用图像传感器接收所述调制后的光谱，并对所述调制后的光谱提供差分响应；利用信号处理电路层将所述差分响应重构，以得到入射光的原光谱。其工作原理可以理解为，入射光的信号的光谱向量X=[λ₁, λ₂, ……, λ_N]^T，其中N为待恢复的光谱信息的波长数目，而图像传感器的响应向量为Y=[Y₁, Y₂, ……, Y_M]^T，其中M是每个光谱像素包括的结构单元的数目。所述光调制层的调制矩阵是M×N的矩阵，表示为：

且噪声向量W=[W₁, W₂, ……, W_n]^T，则光谱向量X、响应向量Y、调制矩阵D和噪声向量W的关系为：Y=DX+W。

一般在实际产品中，需要先对产品进行标定，去获取所述调制矩阵D，再对待测物体进行测量，利用已知的所述调制矩阵D和图像传感器获取的响应向量Y，求出所述待测物体的光谱向量X。

如上所述，通常在光谱成像芯片中，都需要区分物理像素、结构单元和光谱像素（对应于调制单元）。也就是，物理像素指的是图像传感器（光探测器阵列）上最小的感光单元。结构单元指的是由于光谱成像芯片需要在图像传感器上采用滤光结构进行滤光，滤光结构的最小单元被称为结构单元，一个结构单元下可以覆盖一个或多个物理像素。

而光谱像素通常对应于以阵列形式排列的多个结构单元。图4图示了根据本申请实施例的光谱成像芯片的光谱像素中的结构单元的示意性阵列布置。如图4所示，在光谱像素中的结构单元的阵列布置中，具有不同滤光性质的结构单元通常采用X、Y方向周期相同的周期性布置，例如如图4所示的以25种不同的滤光结构的结构单元所组成的X、Y方向均进行了3次循环的结构单元的排列方式。

在上述示意图中可以看出，每一个光谱像素均由5*5共25个结构单元组成，其中每个结构单元具有不同的滤光结构，且每一组共25种滤光结构构成一个光谱像素。例如，图4中的方框A、方框B、方框C所圈出的三个区域，均完整包含25种滤光结构，这样就可以利用这25种滤光结构所生成的信号来进行计算，从而得到该区域的光谱信息。在本申请实施例中，将这种用于计算光谱像素的光谱信息的物理像素区域称之为“计算窗口”，在图4中，A、B、C均为计算窗口。

进一步地，为了最大限度地得到光谱图像的空间分辨率，通常情况下，计算窗口沿着X、Y坐标，每次滑动一个结构单元进行计算。根据这种窗口滑动方式，最终得到的光谱图像的空间分辨率为：(X-2a, Y-2a)，其中a为向下取整的(w/2)， w为窗口边长，即需要进行O(X*Y)次光谱计算。并且，每一次光谱计算需要用到w²个物理像素的信息。假设光谱计算的计算量为O(w²)（实际上，根据算法的不同，计算量的要求可能更高，例如O(w⁴)等，在本申请实施例中，统一按照O(w²)来论述），那么重建整张光谱图像的计算量则为O(X*Y*w²)。

但是，本申请的申请人发现，当多个结构单元对应一种阵列布置时，获取到的调制光谱基本上相似，因此，如果上面的计算方法在多个结构单元对应一种阵列布置时，就会使得计算量巨大，计算速度会受到较大的影响。因此当产品应用对计算量的要求比较苛刻（例如设备算力有限，或者有高速、即时成像的需求）时，O(X*Y*w²)的计算量可能会偏大。此时，就需要适当地减少计算量。

在本申请实施例中，可以采用窗口跳跃的方式，就是在对计算窗口进行滑动以得到不同位置的光谱信号时，一次移动大于一个结构单元，如图5所示。图5图示了现有的光谱恢复方法的计算方式和根据本申请实施例的光谱恢复方法的计算方式的示意图。其中，图5的（a）图示了现有的光谱恢复方法的通常的计算窗口的移动方式，图5的（b）为根据本申请实施例的光谱恢复方法的计算方式的计算窗口跳跃为2时的移动方式（注意，通常的移动方式即为窗口跳跃为1时的移动方式）。当然，由于光谱像素对应的结构单元的范围与步长也有一定的匹配关系，为了更好地减少计算量和保证空间分辨率，不适于设置太大的步长。

另外当出现周期性的结构单元的阵列布置时，在进行计算时可以考虑重复应用所述的计算步长进行对应性的跳跃。

基于此，图6图示了根据本申请实施例的光谱恢复方法的一个示例的示意性流程图。如图6所示，根据本申请实施例的光谱恢复方法包括：S110，由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；S120，获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；S130，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元。

在本申请实施例中，在步骤S120，获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号之前，进一步包括：获取所述光谱像素单元中物理像素和结构单元的数目及位置坐标；以及，当判断物理像素的数目大于结构单元中结构的数量时，基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量，以获得所述入射光的光谱信息。

可见，通过增加窗口跳跃，需要进行的光谱重建计算次数减少了。需要注意的是，当结构单元的间隔数s=w时，可以期待根据本申请实施例的光谱恢复方法有更好的结果。因为此时每一个窗口与其他窗口都不公用结构单元，这样一来，相邻的光谱像素之间的串扰可以被降到最低。换一种说法：当结构单元的间隔数s=w时，在利用全部滤光结构参与计算的前提下，需要进行的光谱重建计算次数最小。在此情形下，重建整张光谱图像的计算量为O((X/w) * (Y/w) *w²)=O(X*Y)。这里，根据本申请实施例的窗口跳跃方法目前已有成熟的利用GPU进行运算的应用，因此就算是原本可以利用GPU进行计算加速的算法，在应用了窗口跳跃后，依旧可以利用GPU进行计算加速。

也就是，在上述光谱恢复方法中，所述调制单元间隔的结构单元的数目等于所述调制单元包括的结构单元的数目的平方根。

并且，如上所述，在上述光谱恢复方法中，所述光调制层包括具有滤光结构的所述调制单元和不具有滤光结构的非调制单元。

在上述光谱恢复方法中，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息包括：获取所述光谱像素的每个结构单元对应的光强信息，以得到响应向量；获取所述光调制层的调制矩阵和噪声向量；以及基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量，以获得所述入射光的光谱信息。

在上述光谱恢复方法中，所述入射光的光谱向量为X=[λ₁, λ₂, ……, λ_N]^T，所述响应向量为Y=[Y₁, Y₂, ……, Y_M]^T，所述调制矩阵和所述噪声向量分别为D：

且W=[W₁, W₂, ……, W_n]^T，则Y=DX+W。

进一步地，如果想要在此基础上降低计算量，或者不希望过于降低空间分辨率，则可以通过取窗口空洞的方式减少计算量。

图7图示了现有的无空洞窗口和根据本申请实施例的光谱恢复方法的窗口空洞的示例的示意图。如图7所示，图7的（a）为通常的计算窗口，共有w²个滤光结构；图7的（b）为空洞数d=1的计算窗口（注意，虽然图7的（b）示出了9个框，但需要将它们合并起来进行计算，因此算是一个窗口而不是9个）（通常的计算窗口即d=0时的情形）。通过选择性地忽略一些结构，可以在每一个窗口的视野不变的情况下，通过减少每一次光谱重建需要考虑的数据量的方式来减少计算量。

另外，虽然窗口空洞会导致一些滤光结构无法使用，但通过恰当地搭配结构单元的间隔数s和窗口的空洞数d，可以让尽量多的滤光结构参与运算。这里，在设置s和d时，计算量可以降低为O(X*Y*w²/(s²* (d+1)²))，例如，当s=w，d=1时，计算量即可降为O(X*Y/4)。与窗口跳跃类似地，窗口空洞也可以方便地应用于使用GPU加速的场合。

因此，在上述光谱恢复方法中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目。

并且，本领域技术人员可以理解，除与上述间隔窗口设置结合外，窗口空洞也可以在光谱恢复算法中单独使用。

此外，窗口空洞并不限于图示的形状，理论上来说，在一个正方形区域内取任意位置的像素组合均可成为一个有空洞（如果全取则无空洞）的窗口，从而适用于特定场合。

图8图示了根据本申请实施例的光谱恢复方法中的光谱成像芯片的传感器的结构单元的示意图。

如图8所示，可以获取结构单元A和结构单元B的每个结构的透射谱信息，其中在结构单元A中坐标a的透射谱和结构单元B坐标b的透射谱不相关，则空洞卷积率为3，又如在结构单元C和结构单元D的每个结构的透射谱信息，其中在结构单元C中坐标c的透射谱和结构单元D坐标d的透射谱不相关，则空洞卷积率为4。

因此，如图9所示，在根据本申请实施例的光谱恢复方法中，可以进一步包括以下步骤：S210，获取所述每个结构单元调制后的透射谱；S220，根据获取的所述透射谱确定透射谱的相关性；S230，确定所述结构单元中不相关的透射谱的位置坐标；以及，S240，根据所述位置坐标确定空洞卷积率。图9图示了根据本申请实施例的光谱恢复方法的确定空洞卷积率的过程的流程图。

图10图示了根据本申请实施例的光谱恢复方法的另一示例的流程图。如图10所述，该示例的光谱恢复方法包括：S310，由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；S320，获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；S330，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目。

如上所述，在单独使用窗口空洞时，计算量可以降低为O(X*Y*w²/(d+1)²)，例如，当d=1时，计算量即可降为O(X*Y*w²/4)。

这里，如图10所示的根据所述另一示例的光谱恢复方法的其它细节已经在上文进行了说明，这里为了避免冗余便不再赘述。

进一步地，由于在通过间隔窗口或者空洞窗口降低计算量的同时，相比现有的光谱恢复方法，其采样数目为减小，从而使得检测精度受到外界环境因素的影响变大，比如温漂效果增大。因此，针对图像传感器所获得的响应向量Y=[Y₁, Y₂, ……, Y_M]^T，其各个位置的强度值所组成的整体分布也会收到各个位置单独的强度值的更大的波动的影响，因此，期望提供修正机制来对响应向量进行修正，以提高恢复出的光谱信息的准确性。

具体地，考虑到外部环境因素对于响应向量的各个位置的强度值的波动影响是整体性的，也就是，会基本一致地对响应向量的各个位置的强度值的波动产生影响，因此，通过捕获响应向量的各个位置的强度值之间的趋势特征，可以以缓解光谱恢复对于强度值的依赖，从而增强对于环境因素影响的鲁棒性。

首先，通过权重矩阵对于响应向量的每个位置的强度值进行权重的调节，然后通过关联矩阵获得其各个位置之间的关联信息，以在数值角度捕获整体趋势特征。也就是，获取第一权重矩阵R₁和第二权重矩阵R₂，分别将其与响应向量Y相乘，以得到第一加权向量V₁和第二加权向量V₂，再将V₁与V₂的转置相乘，得到趋势矩阵M。这里，由于V₁和V₂均为列向量，因此其相乘的结果为矩阵。并且，所述第一权重矩阵R₁和所述第二权重矩阵R₂的参数可以通过基于已知环境因素影响的强度值的标定得到。

接下来，计算响应向量Y的每两个位置之间的距离值，以获得距离矩阵H_i,j=d(Y_i,Y_j)，这里，所述距离值可以是绝对值距离，即Y_i-Y_j的绝对值，也可以是均方距离。然后，再以权重向量P作为查询向量以距离矩阵H相乘，从而对距离矩阵进行维度上的坍塌，以获得与响应向量Y同维度的、用于表示响应向量的各个位置的强度值在向量所表示的高维空间内的空间关系的趋势向量L。并且，所述权重向量P的参数也可以通过基于已知环境因素影响的强度值的标定得到。

最后，将趋势矩阵M经过指数函数进行缩放后，与趋势向量L相乘，以获得最终修正的响应向量Y’，从而基于自注意力机制融合趋势特征的表达。

因此，所述响应向量的修正可以表示为：

Y’={exp[(R₁Y)*(R₂Y)^T]}*(P*H)

其中H_i,j=d(Y_i, Y_j)。

另外，所述第一权重矩阵R₁、所述第二权重矩阵R₂和所述权重向量的参数也可以通过训练得到。也就是，获取训练数据，包括训练用的初始响应向量Y和经过对环境因素影响进行修正后获得的真实的响应向量Y_G，再通过上述方法计算预测的响应向量Y’，并计算其与真实的响应向量Y_G之间的损失函数，例如交叉熵损失函数或者均方误差损失函数，并通过梯度的反向传播进行参数更新而得到所述第一权重矩阵R₁、所述第二权重矩阵R₂和所述权重向量的参数。

示例性计算机程序产品和计算机可读存储介质

除了上述方法以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的光谱恢复方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的光谱恢复方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种光谱恢复方法，其特征在于，包括：

由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；

获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；以及，

基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元；

其中，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息包括：

获取所述光谱像素的每个结构单元对应的光强信息，以得到响应向量Y=[Y₁, Y₂,……, Y_M]^T；

获取所述光调制层的调制矩阵D：

和噪声向量W=[W₁, W₂, ……, W_n]^T；

基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量X=[λ₁,λ₂, ……, λ_N]^T，以获得所述入射光的光谱信息，其中Y=DX+W；以及

对所述响应向量Y进行修正以获得修正的响应向量Y’，表示为：

Y’={exp[(R₁Y)*(R₂Y)^T]}*(P*H)

其中R₁和R₂分别是权重矩阵，且P是权重向量，H是所述响应向量Y的距离矩阵，其每个位置对应于所述响应向量Y的相应的两个位置之间的距离值。

2.根据权利要求1所述的光谱恢复方法，其中，所述调制单元间隔的结构单元的数目等于所述调制单元包括的结构单元的数目的平方根。

3.根据权利要求1所述的光谱恢复方法，其中，所述调制单元间隔的物理像素的数目不小于设定调制结构单元的数目。

4.根据权利要求1所述的光谱恢复方法，其中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目。

5.根据权利要求1所述的光谱恢复方法，其中，所述光调制层包括具有滤光结构的所述调制单元和不具有滤光结构的非调制单元。

6.根据权利要求1所述的光谱恢复方法，其中，所述基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息进一步包括：

获取所述光谱像素单元中物理像素和结构单元的数目及位置坐标；

当判断物理像素的数目大于结构单元中结构的数量时，基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量，以获得所述入射光的光谱信息。

7.根据权利要求1所述的光谱恢复方法，进一步包括：

获取所述每个结构单元中每个结构调制后的透射谱；

根据获取的所述透射谱判断透射谱的相关性；

确定所述结构单元下不相关的透射谱的位置坐标；以及

根据所述位置坐标确定空洞卷积率。

8.根据权利要求1所述的光谱恢复方法，其中，所述权重矩阵R₁和R₂的参数和所述权重向量P的参数通过标定或者训练得到。

9.一种光谱恢复方法，其特征在于，包括：

由光谱成像芯片的光调制层接收入射光，所述光调制层包括以周期性布置的多个调制单元，且每个调制单元包括多个结构单元；

获取由所述光谱成像芯片的图像传感器对所述光调制层调制的入射光的响应信号，每个结构单元对应于所述图像传感器的一个或多个物理像素；

基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息，其中，所述每个光谱像素对应于第一数目的结构单元，每个调制单元包括第二数目的结构单元，且所述第二数目不小于所述第一数目；

其中，基于与每个调制单元对应的光谱像素恢复所述入射光的光谱信息包括：

获取所述光谱像素的每个结构单元对应的光强信息，以得到响应向量Y=[Y₁, Y₂,……, Y_M]^T；

获取所述光调制层的调制矩阵D：

和噪声向量W=[W₁, W₂, ……, W_n]^T；

基于所述响应向量、所述调制矩阵和所述噪声向量确定所述入射光的光谱向量X=[λ₁,λ₂, ……, λ_N]^T，以获得所述入射光的光谱信息，其中Y=DX+W；以及

对所述响应向量Y进行修正以获得修正的响应向量Y’，表示为：

Y’={exp[(R₁Y)*(R₂Y)^T]}*(P*H)

其中R₁和R₂分别是权重矩阵，且P是权重向量，H是所述响应向量Y的距离矩阵，其每个位置对应于所述响应向量Y的相应的两个位置之间的距离值。

10.根据权利要求9所述的光谱恢复方法，其中，每个光谱像素对应的调制单元彼此间隔不小于一个结构单元。

11.一种光谱成像恢复装置，其特征在于，所述装置包括应用了权利要求1-8任一所述光谱恢复方法。

12.一种光谱成像恢复装置，其特征在于，所述装置包括应用了权利要求9-10任一所述光谱恢复方法。

Images