具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外,以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例,也可以包括另外的特征形成在第一和第二特征之间的实施例,这样第一和第二特征可能不是直接接触。
在本发明的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
下面参照附图描述根据本发明实施例提出的高光谱图像的生成方法及系统,首先将参照附图描述根据本发明实施例提出的高光谱图像的生成方法。参照图1所示,该生成方法包括以下步骤:
S101,对高光谱数据集进行稀疏编码以得到过完备高光谱字典,其中,过完备高光谱字典包括高光谱图像的三维高光谱原子。
在本发明的一个实施例中,参照图2所示,从高光谱数据集中训练获取过完备高光谱字典D(图2中(a)所示)。其中,过完备高光谱字典D包含了自然界高光谱图像的基本组成元素——三维高光谱原子Dk,获取了相比相关技术中的基函数更稀疏的高光谱图像的表示。
S102,对目标场景的原始高光谱图像进行空间光谱调制得到单张编码的二维传感器图像。
在本发明的一个实施例中,参照图2所示,目标场景的高光谱图像以空间光谱随机编码的方式编码到光学投影上(图2中(b)所示),该方式提供了空间变化的颜色光谱编码,光学上在采集的传感器图像上保存了更多高光谱原子的信息。
进一步地,在本发明的一个实施例中,单张编码的二维传感器图像,通过如下公式得到,公式为:
其中,h(x,y,λ)表示原始高光谱图像,且x,y表示二维空间坐标,λ表示光谱维度,s=dm/da表示掩膜相对于原始高光谱图像的剪切形变程度,f(x,y)表示掩膜的随机图案函数,dm表示掩膜和传感器的距离,da光谱面和传感器的距离。
具体地,在本发明的一个实施例中,本发明实施例提出了一个新颖的计算高光谱相机模型,叫做空间光谱编码的压缩高光谱成像仪(Spatial Spectral EncodedCompressive Hyperspectral Imaging,,SSCSI),以从单张的传感器图像重建出高分辨率的高光谱图像。参照图3所示,令h(x,y,λ)表示三维高光谱图像,其中x,y是二维空间坐标,λ为光谱维度。在相关技术中,传感器图像i(x,y)是高光谱图像在光谱维度上对光谱域Ωλ进行投影所形成的,如下公式:
其中,公式(1)中忽略了传感器光谱感光度和其他传感器特性的影响(例如拜尔滤镜的影响),因为这些可以在预处理过程中校准获得。因此,本发明实施例的编码方式是在投影前对三维高光谱图像进行空间和光谱维度的光学调制。具体地,参照图3(左侧)所示,本发明实施例通过利用衍射光栅将光线色散为光谱面,并在光谱面和传感器平面之间加入一个编码衰减掩膜来实现空间光谱调制。需要说明的是,图中R表示线条红色,G表示线条绿色,B表示线条蓝色。假定掩膜的图案函数为f(x,y),和传感器的距离为dm,光谱面和传感器平面的距离为da,编码后的传感器图像可以表示为:
其中,s=dm/da是掩膜相对于高光谱图像的剪切形变程度。需要说明的是,图3(中间)为在二维情况下的示意图。
进一步地,在本发明的一个实施例中,在根据过完备高光谱字典对单张编码的二维传感器图像进行还原以重建目标场景的高光谱图像之前,还包括:通过如下公式对原始高光谱图像进行编码到二维传感器图像,公式为:
其中,i表示向量化的传感器图像,h表示向量化的目标高光谱图像,Φ表示调制矩阵,P表示光谱谱段个数。
具体地,在本发明的一个实施例中,由于衍射光栅只在一个空间维度上色散,因此对应的掩膜只在x方向上发生剪切,如公式(2)所示。实际中,公式(2)中空间光谱编码的高光谱投影可以被离散化为:
其中,是向量化的传感器图像和向量化的目标高光谱图像,为调制矩阵。p个光谱谱段下的向量化图像经过叠加得到h(n=p×m)。是每个光谱谱段对应的稀疏调制矩阵,对角线上包含了剪切形变过的掩膜图案,参照图3(右侧)所示。因此,编码后的传感器图像i是由每个光谱谱段下的图像hj与对应的编码图案相同但剪切程度不同的调制矩阵Φj相乘求和而成。如果将掩膜置于传感器位置(=0),那么就没有剪切形变现象并且对高光谱图像只进行了空间上的调制。如果将掩膜置于光谱面上(=1),那么高光谱图像在x维度上的编码图案将都会是一样的。为了获取在高光谱图像上最随机的采样,从而有利于在RIP(Restricted IsometryProperty,约束等距性条件)和MPI(Mutual Incoherence Property,互不相关性条件)下的压缩算法重建,本发明实施例将掩膜放置在传感器平面和光谱平面之间,来获得所述高光谱图像在空间光谱调制下的投影。
S103,根据过完备高光谱字典对单张编码的二维传感器图像进行还原以重建目标场景的高光谱图像。
在本发明的一个实施例中,基于上述内容保留的编码图像,利用鲁棒的非线性稀疏重建算法以从单张编码的二维传感器图像中还原出高分辨率地三维高光谱图像(图2中(c)所示)。
进一步地,在本发明的一个实施例中,通过如下公式对目标场景的原始高光谱图像进行表示,公式为:
其中,D表示高光谱字典,dj表示高光谱字典的原子,a表示稀疏系数;
进一步地,高光谱字典通过如下公式来学习获得:
其中,为o个图像块所组成的训练集,是每列为k-稀疏向量ai的矩阵,并且k(k<<q)为指定的稀疏程度;
进一步地,被调制的传感器图像表示为:
i=Φh=ΦDa;
进一步地,未知稀疏变量a通过求解一个基追踪降噪优化问题来恢复:
其中,ε是残差,且通过解决该优化问题的拉格朗日形式来求解:
其中,ξ是平衡数据项和正则项的系数。
具体地,在本发明的一个实施例中,如公式(3)所示,基于上述的编码传感器图像i,需要通过求解该高度欠定的线性系统(m<<n)来重建高光谱图像h。本发明通过利用三维高光谱图像潜在的稀疏约束和稀疏重建技术来解决。假设自然界高光谱图像在一些基函数或者是字典D下有稀疏表示a:
其中,是字典的原子,而a=[a1,…,aq]T是稀疏系数,但中大多数系数的值接近于0。使用公式(4)的稀疏表示,被调制的传感器图像可以被表示为:
i=Φh=ΦDa, (5)
根据压缩感知理论,假设高光谱图像是k-稀疏的(k-sparse),表明了它最多能够被公式(4)中的k个原子(dj)线性叠加来表示,并且测量值的数量m>O(klog(q/k)),那么未知稀疏变量a可以通过求解一个BPDN(Basis PursuitDenoising,基追踪降噪优化问题)来恢复:
其中,ε是残差。本质上,压缩感知技术是通过寻找最稀疏且满足测量值的系数向量a来求解欠定系统(公式(5))。在实际中通过解决公式(6)的拉格朗日形式来求解:
其中ξ是平衡数据项和正则项的系数。
进一步地,公式(6)、(7)中的稀疏重建需要一个很好的稀疏基。因此,在以下实施例中,重点阐述本发明实施例的一个重要内容就是学习一个过完备的高光谱字典,该字典包含了自然界高光谱图像稀疏表示下的高光谱原子。其中,这些高光谱原子的固有特性大大减少了重建时间:取代解决一个单独而且庞大的优化问题,本发明实施例将其分解成很多小的独立优化问题来同时并行解决。在实际中,本发明实施例从每个以传感器像素点为中心的编码二维图像块重建出对应的高光谱图像块,所重建的高光谱图像块最后被合并成一个全传感器分辨率的高光谱图像。进一步地,高光谱图像块的重建可以并行的处理,使重建的时间只随着传感器分辨率增加而线性递增。
具体地,在本发明的一个实施例中,从训练数据集学习得到的字典通常比使用相关技术中的基函数(例如离散余弦变换基(Discrete Cosine Transform,DCT)或者小波基(Wavelet))具有更好的稀疏表示形式,因此能够获取更好重建的结果。本发明实施例学习了一个由高光谱原子组成的过完备字典作为自然界高光谱图像的一个稀疏表示。过完备字典D是从大量训练样本中学习而来的,这些样本是三维的空间光谱图像块,每个图像块的分辨率为n=lx×ly×lλ。这些样本是从训练高光谱图像集中随机选取特定数量的高光谱图像块获得的。字典学习可以形式化为优化问题:
其中,为o个图像块所组成的训练集,是每列为k-稀疏向量ai的矩阵,并且k(k<<q)为指定的稀疏程度。
本发明实施例通过联合光学空间光谱调制和稀疏约束的重建算法来实现。空间光谱的编码采样方式能够获得一种空间变化的颜色光谱编码,在投影测量时能够提供了更高程度的随机性,从而能够获得比先前压缩高光谱成像方法更高的重建性能。具体地,本发明实施例提出了压缩高光谱成像模型来联合空间光谱光学编码三维高光谱图像投影和稀疏重建方法,并通过过完备字典以利用高光谱图像的稀疏约束,且通过在传感器平面和色散器形成的光谱平面之间放置一个静态的廉价的衰减掩膜,获得了空间上不一致的高光谱图像颜色光谱编码到传感器图像,以及引入了高光谱原子作为自然界高光谱图像重要的组成元素,所提出的高光谱原子不仅用于从二维编码投影中重建出高分辨率的三维高光谱图像,而且可以用于对高光谱图像进行压缩和去噪,以搭建SSCS相机的原型系统并验证了方法的可行性。
以下结合本发明实施例提出的高光谱原子学习、计算高光谱相机设计和稀疏重建的具体实施例和相应的分析进行详细说明。
在本发明的一个实施例中,首先训练高光谱原子。本发明实施例采用的K-SVD算法来解公式(8)的优化问题。其中,所采用的训练数据集是由哈佛大学Chakrabarti和Zickler提供的公用现实自然界高光谱的数据集,包含了太阳光下的50个室内和室外高光谱场景。每个高光谱图像包括了在420纳米至720纳米之间的31个光谱窄波段,每个大约10纳米的谱段宽度。这些数据集中包含了部分曝光过程中物体移动的区域,在选择图像块进行训练的时候通过使用给定的标签来避免选择这些区域。
进一步地,在本发明的一个实施例中,其次估计高光谱原子大小。高光谱原子的大小m在过完备字典训练中是一个很重要的参数,它与训练的图像块大小m=lx×ly相等。假设高光谱图像是k-稀疏的,则测量值的数量必须满足条件m>O(klog(q/k)),其中q与n成正比关系。对于固定的光谱尺寸和字典的过完备性,由于随着原子的大小的增大,m线性增加而O(klog(q/k))只是对数增长,因此增大空间原子的大小将使得重建问题变得更为适定。本发明根据经验,选取的原子大小为lx=ly=10,因此对应训练光谱图像块的大小是10×10×31,其中10×10是空间分辨率而31是字典学习中的光谱采样数。
进一步地,在本发明的一个实施例中,参照图4所示,然后解释高光谱原子。图4为一个训练到的过完备高光谱字典的视觉化结果,不同的谱段被标上了相应的颜色。可以观察到高光谱原子捕捉到了高维的边缘和高频结构,它们呈现出不同程度的旋转和剪切形变。图5(a)为“门”数据在不同的三维基函数下压缩性能的定量比较。当使用很少量的参数估计高光谱矩阵时,所述的三维高光谱原子相比其他传统的基函数表示能获得更好的压缩重建质量。此外,如图6所示,使用该数据仿真比较了三维主成分分析(PrincipalComponent Analysis,PCA)、三维离散余弦变换(DCT)和三维高光谱原子的稀疏重建结果,三维高光谱原子同样能获得更好的重建性能。复杂的高光谱结构能够很好地被很少的原子线性组合表示,因此高光谱原子是自然界中高光谱图像重要的组成元素。显然,高光谱原子的结构主要取决于特定的训练集;直观上,大量的多样化的自然界高光谱图像会呈现出一些相同的结构,而高光谱原子稀疏地表示了这些自然界高光谱图像的基本结构。
具体地,图5(a)为“门”数据的三维超光谱图像在不同三维基函数下的压缩率。图5(b)为“门”数据下所述稀疏重建算法的性能与字典的大小关系。图5(c)根据图5(e)中不同大小过完备字典的参数生成的直方图,统计了一个原子被用来表示训练数据的次数。图5(d)为在有传感器噪声时所述稀疏重建算法在不同场景(例如室内“椅子”、“书”、“纸”数据,或室外“门”、“房子”数据)下的性能。图5(e)为颜色编码后不同大小的过完备字典。图5为比较在不同的基函数(例如三维主成分分析(PCA)、三维离散余弦变换(DCT),三维高光谱原子)下使用本发明实施例的稀疏重建算法重建“门”数据的高光谱图像的性能。
进一步地,在本发明的一个实施例中,在本发明实施例中评估了字典的过完备性,也是从给定训练数据集中学习到的原子个数。相关技术中的标准正交基(例如离散余弦变换或者傅里叶基)是“1×”过完备,表明D是一个方阵(q=n)。然而,本发明实施例所训练的过完备高光谱字典是可以在学习过程中随意选择的。在评价“门”数据的过完备性时(参照图5(b)所示),可以观察到稀疏重建方法的性能(所重建的高光谱图像的PSNR)随着字典大小的增加而提升。然而,随着字典大小的增加,冗余也一直增加,参照图5(c)和图5(e)所示。图5(c)为图5(e)中显示的不同大小的过完备字典中系数的直方图,表明了一个原子在训练样本中被表示的次数。低过完备性的字典,例如“0.125×”的过完备字典,性能不是很好,参照图5(b)所示,是因为不能包含足够的原子来稀疏表示目标的高光谱图像,而过大的过完备字典则包含太多很少用到的参数,参照图5(c)所示。同时字典大小(过完备性)的增加也增加了训练和重建的时间,本发明实施例折中选用了“2×”过完备字典(6200个原子),足够用于表示本发明实施例所使用的特定训练数据。在实际过程中,本发明实施例随机从训练数据中选取100000个图像块进行字典的学习,可以用8核因特尔处理器,16GB的RAM(RandomAccess Memory,随机存取存储器)台式机经过了12个小时来获得训练字典。需要说明的是,这个过程是一次性的离线处理步骤,且图中不同标号数字对应不同颜色线条,以使本领域技术人员参考。
进一步地,在本发明的一个实施例中,本发明实施例的光学设计是通过加入一个衍射光栅,并在传感器前面加入一个编码衰减的掩膜来实现的,参照图3所示。下面讨论成像系统的硬件设计,并且分析本发明实施例和其它高光谱成像系统的性能对比。
在本发明的一个实施例中,本发明实施例首先讨论了不同掩膜图案对于重建结果的影响。本发明实施例所用的非线性重建算法能够获取全传感器分辨率的高光谱重建,可以采用宽频编码如MURA(Modified Uniformly Redundancy Array,修正均匀冗余阵列)图案的掩膜进行观测。然而,为得到高重建效果,观测应该尽可能提供稀疏基下不相干的信号投影,而使用随机编码进行观测在大多数稀疏基下(包括过完备字典)满足这个条件,因此作为压缩感知应用中的最常见选择。本发明实施例对于“椅子”训练数据进行了合成的仿真,参照图7所示,随机编码掩膜的高光谱重建的性能要好于宽频掩膜,具有更高峰值性噪比。随机高斯图案和随机二值图案重建性能比较相近,因此在真实数据的观测中本发明使用二进制0-1形式的随机掩膜以方便于打印。
进一步地,在本发明的一个实施例中,通过改变本发明实施例光学系统设计中掩膜的位置或者使用透镜阵列替代,可以获得其它不同形式的光学系统设计,参照图6中第二幅图所示。仅在空间进行调制相当于CASSI(Coded Aperture Snapshot SpectralImaging,编码光圈压缩高光谱成像)的系统。同时动态调节空间编码和光谱编码可以得到对DSCI系统(Dual Coded Compressive HyperspectralImging,偶编码压缩高光谱成像DSCI)。将针孔掩膜应用到高光谱多路复用,相当于PMVIS(Prism-Mask MultispectralVideo Imaging System,棱镜掩膜高光谱视频采集系统)。另外,在光谱面进行编码得到纯光谱编码,还可以将微镜阵列替代针孔掩膜用于高光谱多路复用。最后,同时也可以同时应用微镜阵列和随机编码如图8中图右侧所示。
本发明实施例通过两个指标来对比不同的系统的性能:光通量和重建的预期性能。光通量由光学系统的平均光透率τ来度量(数值越高越好)。衡量了预期的重建质量,其中G=ΦD为每一列进行了标准化的矩阵。因此G的每列是高光谱原子关于测量基的标准化投影。GTG的单个元素是每个投影的内积,故度量了投影之间的距离。GTG的对角元素总是1,对角线外的元素对应了投影下高光谱原子之间的相互距离。一个好的度量应该最大化这些距离,意味着GTG应该尽可能与单位阵相近(μ的值越低越好),因为正交基的内积为0。
参照图8所示,从光学上讲,微镜阵列具有最好的光透率,除了针孔掩膜光学系统设计外,大多数基于掩膜的设计的光透率都在0.5左右。空间与光谱独立动态编码的对偶编码系统的光透率是0.25。对于期望的重建质量,微镜阵列性能最差,其次是编码的微镜阵列,棱镜掩膜高光谱视频采集系统,编码光谱,编码光圈以及本发明的空间光谱编码。虽然对偶编码相比本发明有更低的μ值,但是这种设计降低了光透率。参照图8所示,这些系统间μ值差别不是很大,但是重建性能的差别却很显著,这里所有光学系统的性能比较都是基于本发明的重建方法和过完备字典下获得的。
在本发明的一个实施例中,参照图9所示,图9为本发明一个实施实例所搭建的原型系统。佳能EOS 5D(焦距24米)的物镜用来将图像成像到衍射光栅上。衍射光栅用的是Thorlabs GT50-06V型号光栅,600个凹槽每毫米,28.7度的闪耀角。被色散的光线经一个4f系统(焦距75毫米,直径2英寸)继接后重新成像。为了调节掩膜和传感器之间的距离,用另一个中继透镜(焦距50毫米,直径2英寸)将图像继接到传感器上。传感器用的是Point Grey的GRAS-50S5M-C灰度相机,分辨率2448×2048,像素大小3.45微米。所使用的二值掩膜的分辨率是384×512,打印在胶片上,大小为7.7毫米×10.3毫米(2520dpi)。本发明的实施例中,每个掩膜像素由一个4×4大小的传感器像素块所表示,最大调制分辨率是384×512。因此在采集到掩膜调制的高光谱投影后,需要调整传感器图像的相应大小。此外,使用400-820纳米的带通滤波器滤掉不需要的光谱谱段。
本发明实施例通过在阳光下采集一个标准白板的来校准编码高光谱采集系统。首先将掩膜放置在像平面可以得到掩膜的图案然后,将掩膜远离像平面移动,可以得到剪切后掩膜的图案假设每个相邻谱段的掩膜剪切形变是等间距的,因此剪切的程度可以通过解一个最小值优化问题:来得到,于是可以得到每个子调制矩阵Φj。校准过程和测量矩阵Φ只需要采集一次。
进一步地,在本发明的一个实施例中,本发明实施例采用SPGL1算法来鲁棒求解公式(7)中优化问题,设定残差为0.0001,迭代次数为250次。在重建过程中,编码的传感器图像被分为交错的二维图像块,每个图像块的分辨率为10×10像素,它们在每个像素点的周围形成一个滑动窗口。然后从这些窗口中恢复出一个个小的三维高光谱图像块。这些重建出的交错三维图像块通过中值滤波器来合并。对于本发明实施例中所实际采集的数据,从一张的传感器图像中重建出31个谱谱段空间分辨率为374*502像素的超光谱图像(420nm至720nm,10nm间距)。重建的过程通过并行的方式进行处理,本发明实施例使用8核处理器、16G RAM的处理设备,每个超光谱场景耗时大约25小时。
其中,由于本发明实施例中光学相机设计使用的随机掩膜减少了一半的光通量,本发明实施例也验证了重建算法对传感器噪声的鲁棒性,如图5(d)所示。在实施过程中,向仿真的编码传感器图像加入高斯白噪声并通过PSNR来度量噪声的大小。本发明实施例在测试算法时,对5个不同合成数据进行了测试,分别是“椅子”、“门”、“房子”、“书本”和“纸”数据。图5(d)表明本发明的算法即使在很大的噪声水平下依然能够鲁棒的恢复出高光谱图像(输入传感器图像20dB,重建结果大约有30dB)。
在本发明的一个实施例中,本发明实施例在合成和实采数据上验证了所提出的方法,并且定量对比了本发明和CASSI(Coded Aperture Snapshot Spectral Imaging,编码光圈压缩高光谱成像)的方法。真实的数据通过使用本发明的相机系统进行采集,并且由单张传感器图像重建出高光谱图像。每个重建过程中,所用的编码和过完备字典是一样的。至于相机响应和光照校准,本发明所用的灰度相机在不同波长下的灵敏度如图12所示。将它和学习到的字典相乘来实现相机光谱响应的校准。重建出的高光谱图像是太阳光光谱和场景反射属性叠加后的光谱分布,本发明通过使用标准颜色校准板来实现对光照光谱响应的校准。
在本发明的一个实施例中,本发明实施例将调制掩膜根据不同程度的剪切形变分别叠加到每个高光谱图像上合成带有掩膜调制的二维传感器图像,从而仿真SSCSI(Spatial Spectral Encoded CompressiceHyperspectral Imaging,空间光谱编码压缩高光谱成像系统)系统采集到的传感器图像结果。同时,如果不对掩膜进行剪切形变,而只是在空间上采取统一调制,可以合成CASSI系统下的采集到的传感器图像。本发明实施例在室外“门”的数据和室内“椅子”的数据上分别进行了仿真对比,参照图10所示,对比的结果表明本发明的重建结果很明显地比CASSI系统更精确,信噪比(PSNR)更高。另外,本发明实施例还定量地对比了两种方法在同一位置下的光谱特性曲线。“门”数据的平方和误差(SSE)分别为0.0101(SSCSI)和0.1502(CASSI),“椅子”数据的误差平方和分别为0.0252(SSCSI)和0.3083(CASSI)。
进一步地,在本发明的一个实施例中,参照图11所示,图11是一个太阳光下的室外场景的重建结果。本发明实施例从一个空间光谱编码的二维投影中重建出420纳米至720纳米间31个光谱谱段高光谱图像。RGB(Red,Green Blue,红绿蓝)彩色图像是通过对重建的高光谱图像的进行色度映射而成的。对于量化的性能评估,本发明实施例计算了颜色板上24个归一化的光谱特性曲线和标准曲线之间的平方和误差(SSE),平均的SSE为0.0050。
进一步地,在本发明的一个实施例中,参照图12和图13所示,图12、图13说明了本发明实施例对于环境光照下的室内场景重建的性能。图12采集了一个大堂的环境,场景包含的复杂的光照效果,例如由大理石和雕塑产生的互反射和镜面反射。这些复杂光照效果以及盆栽的精细结构都成功地被本发明的方法重建出来。定量的评估计算颜色板上三个位置处的光谱特性曲线的重建结果和真值之间的平方和误差(SSE),相应的SSE分别是0.0026,0.0079和0.0058。图13是在低光照的卧室中拍摄的,本发明实施例能够可靠地重建出了三维高光谱图像。
进一步地,在本发明的一个实施例中,参照图14所示,本发明实施例能够从一张二维图像中恢复三维的高光谱图像,因此可以应用于恢复动态场景。为了验证这种可行性,图14为多帧摆放了水果饮料的旋转椅子,本发明实施例能获取比相关技术中的方法更高空间分辨率的重建结果。
进一步地,下面阐述三维高光谱过完备字典和稀疏重建技术的其它应用:三维高光谱图像压缩和三维高光谱图像去噪。
其中,在本发明的一个实施例中,学习到的三维高光谱过完备字典可以用来实现高光谱图像的压缩,本发明实施例已经在上文从定量和定性的角度展示了三维高光谱图像的压缩性,所以给定压缩比率或者一个固定的系数数字,通过寻找高光谱图像在字典上的最优表示可以对其进行压缩。因此,本发明实施例可以通过解一个LASSO优化问题来实现:
其中,h是最多使用k个原子表示的三维高光谱图像块。参照图15所示,图15对比了用三维离散余弦变换基(3D DCT)和三维高光谱原子(3D HS Atoms)在一个固定压缩比率下,对同一个室外“门”数据的压缩性能。在这个实验中,31个光谱带的高光谱图像被分为10×10×31个空间光谱的图像块分别进行压缩。在压缩后进行复原,可以发现三维高光谱原子的方法相比于三维离散余弦变换的方法在相同的压缩比率(1/200)取得了更好的压缩性能,并且图像块间的过渡也更加平滑。
进一步地,在本发明的一个实施例中,本发明实施例应用学习到的过完备字典和稀疏编码的技术来对三维高光谱图像进行去噪处理。与三维高光谱图像压缩类似,去噪的目标是通过一些无噪声的原子来线性表示含有噪声的给定三维高光谱图像,也可以用过解决公式(9)的优化问题来解决。这个过程相当于将一个非线性的三维去噪滤波器应用在三维高光谱图像上,参照图16所示的去噪结果实例。
本发明实施例提出的高光谱计算相机相比于相关技术中的高光谱相机能够获得更高的空间分辨率。本发明实施例证明了能够从空间光谱编码的高光谱投影像重建出高质量的高光谱图像。这些成果得益于将光学设计、自然界高光谱图像的稀疏表示和非线性稀疏重建技术相结合。
进一步地,本发明实施例所用的掩膜相比于其他空间光调制器(如LiquidCrystal on Silicon(LCOS)和Liquid Crystal Display(LCD))提供了更高的对比度。然而相比于折射光学元件(例如微镜阵列),虽然掩膜十分廉价,但是它减少了整个光学系统的光通量并且它被衍射现象所限制。此外,相关技术中的重建分辨率也受掩膜的分辨率所限制,而掩膜的分辨率受限于打印设备的打印分辨率。
进一步地,过完备字典中的高光谱原子适应于训练数据,如果采集到的场景的某些结构在训练数据中没有的话,重建质量将会降低。学习到的过完备字典在稀疏重建的过程中需要进行存储,因此增加了内存的负荷。本发明实施例提出的压缩高光谱成像相机的重建时间比很多其他的高光谱相机要长很多,不过分成很多三维图像块进行并行的处理将使重建大大加速。
综上所述,本发明实施例已经评估了一系列现有的高光谱相机设计,也展示了一些新型的高光谱相机的光学原理图,有待去进一步探索。虽然本发明实施例所用的随机掩膜图案能够提供高质量的结果,将来还会继续优化掩膜的图案来进一步提升重建的性能。总之,本发明实施例展示了一种高分辨率地高光谱快照成像系统,它通过空间光谱编码对压缩高光谱图像进行二维投影采集空间光谱编码压缩高光谱成像系统(Spatial SpectralEncoded CompressiceHyperspectral Imaging,SSCSI),分析和评估了自然界高光谱图像的稀疏表示、从二维编码的图像鲁棒重建出三维高光谱图像,其它的应用包括了三维高光谱图像压缩和去噪。相信本本发明实施例将为今后通过探索维度视觉信息本质的冗余来构建下一代的高光谱计算成像系统提供了很多不可缺少的借鉴。
根据本发明实施例提出的高光谱图像的生成方法,通过对高光谱数据集进行稀疏编码得到过完备字典,且根据目标场景的原始高光谱图像和调制矩阵得到单张编码的二维传感器图像,并根据过完备高光谱字典对单张编码的二维传感器图像进行还原,从而重建目标场景的高光谱图像,在测量投影时提供了更高程度的随机性,从而获得更高的重建性能,并且可以从编码后的投影图像中高质量地恢复出高光谱图像,以重建出高分辨率的三维高光谱图像。另外,本发明实施例所使用的完备高光谱字典和稀疏编码技术可应用于三维高光谱图像的压缩和去噪。
其次将参照附图描述根据本发明实施例提出的高光谱图像的生成系统。参照图17所示,该生成系统100包括:过完备高光谱字典获取模块200、二维传感器图像生成模块300和高光谱图像重建模块400。
其中,过完备高光谱字典获取模块200用于对高光谱数据集进行稀疏编码以得到过完备高光谱字典,其中,过完备高光谱字典包括高光谱图像的三维高光谱原子。二维传感器图像生成模块300用于对目标场景的原始高光谱图像进行空间光谱调制得到单张编码的二维传感器图像。高光谱图像重建模块400用于根据过完备高光谱字典对单张编码的二维传感器图像进行还原以重建目标场景的高光谱图像。
在本发明的一个实施例中,参照图2所示,从高光谱数据集中训练获取过完备高光谱字典D(图2中(a)所示)。其中,过完备高光谱字典D包含了自然界高光谱图像的基本组成元素——三维高光谱原子Dk,获取了相比相关技术中的基函数更稀疏的高光谱图像的表示。
在本发明的一个实施例中,参照图2所示,目标场景的高光谱图像以空间光谱随机编码的方式编码到光学投影上(图2中(b)所示),该方式提供了空间变化的颜色光谱编码,光学上在采集的传感器图像上保存了更多高光谱原子的信息。
进一步地,在本发明的一个实施例中,单张编码的二维传感器图像,通过如下公式得到,公式为:
其中,h(x,y,λ)表示原始高光谱图像,且x,y表示二维空间坐标,λ表示光谱维度,s=dm/da表示掩膜相对于原始高光谱图像的剪切形变程度,f(x,y)表示掩膜的随机图案函数,dm表示掩膜和传感器的距离,da光谱面和传感器的距离。
具体地,在本发明的一个实施例中,本发明实施例提出了一个新颖的计算高光谱相机模型,叫做空间光谱编码的压缩高光谱成像仪,以从单张的传感器图像重建出高分辨率的高光谱图像。参照图3所示,令h(x,y,λ)表示三维高光谱图像,其中x,y是二维空间坐标,λ为光谱维度。在相关技术中,传感器图像i(x,y)是高光谱图像在光谱维度上对光谱域Ωλ进行投影所形成的,如下公式:
其中,公式(1)中忽略了传感器光谱感光度和其他传感器特性的影响(例如拜尔滤镜的影响),因为这些可以在预处理过程中校准获得。因此,本发明实施例的编码方式是在投影前对三维高光谱图像进行空间和光谱维度的光学调制。具体地,参照图3(左侧)所示,本发明实施例通过利用衍射光栅将光线色散为光谱面,并在光谱面和传感器平面之间加入一个编码衰减掩膜来实现空间光谱调制。需要说明的是,图中R表示线条红色,G表示线条绿色,B表示线条蓝色。假定掩膜的图案函数为f(x,y),和传感器的距离为dm,光谱面和传感器平面的距离为da,编码后的传感器图像可以表示为:
其中,s=dm/da是掩膜相对于高光谱图像的剪切形变程度。需要说明的是,图3(中间)为在二维情况下的示意图。
进一步地,在本发明的一个实施例中,参照图18所示,上述生成系统还包括:编码模块500。
其中,编码模块500用于在根据过完备高光谱字典对单张编码的二维传感器图像进行还原以重建目标场景的高光谱图像之前,通过如下公式对原始高光谱图像进行编码到二维传感器图像,公式为:
其中,i表示向量化的传感器图像,h表示向量化的目标高光谱图像,Φ表示调制矩阵,P表示光谱谱段个数。
具体地,在本发明的一个实施例中,由于衍射光栅只在一个空间维度上色散,因此对应的掩膜只在x方向上发生剪切,如公式(2)所示。实际中,公式(2)中空间光谱编码的高光谱投影可以被离散化为:
其中,是向量化的传感器图像和向量化的目标高光谱图像,为调制矩阵。p个光谱谱段下的向量化图像经过叠加得到h(n=p×m)。是每个光谱谱段对应的稀疏调制矩阵,对角线上包含了剪切形变过的掩膜图案,参照图3(右侧)所示。因此,编码后的传感器图像i是由每个光谱谱段下的图像hj与对应的编码图案相同但剪切程度不同的调制矩阵Φj相乘求和而成。如果将掩膜置于传感器位置(=0),那么就没有剪切形变现象并且对高光谱图像只进行了空间上的调制。如果将掩膜置于光谱面上(=1),那么高光谱图像在x维度上的编码图案将都会是一样的。为了获取在高光谱图像上最随机的采样,从而有利于在RIP(Restricted IsometryProperty,约束等距性条件)和MIP(Mutual Incoherence Property,互不相关性条件)下的压缩算法重建,本发明实施例将掩膜放置在传感器平面和光谱平面之间,来获得所述高光谱图像在空间光谱调制下的投影。
在本发明的一个实施例中,基于上述内容保留的编码图像,利用鲁棒的非线性稀疏重建算法以从单张编码的二维传感器图像中还原出高分辨率地三维高光谱图像(图2中(c)所示)。
进一步地,在本发明的一个实施例中,高光谱图像重建模块400通过如下公式对目标场景的原始高光谱图像进行表示,公式为:
其中,D表示高光谱字典,dj表示高光谱字典的原子,a表示稀疏系数;
进一步地,高光谱字典通过如下公式来学习获得:
其中,为o个图像块所组成的训练集,是每列为k-稀疏向量ai的矩阵,并且k(k<<q)为指定的稀疏程度;
进一步地,被调制的传感器图像表示为:
i=Φh=ΦDa;
进一步地,未知稀疏变量a通过求解一个基追踪降噪优化问题来恢复:
其中,ε是残差,且通过解决该优化问题的拉格朗日形式来求解:
其中,ξ是平衡数据项和正则项的系数。
具体地,在本发明的一个实施例中,如公式(3)所示,基于上述的编码传感器图像i,需要通过求解该高度欠定的线性系统(m<<n)来重建高光谱图像h。本发明通过利用三维高光谱图像潜在的稀疏约束和稀疏重建技术来解决。假设自然界高光谱图像在一些基函数或者是字典D下有稀疏表示a:
其中,是字典的原子,而a=[a1,…,aq]T是稀疏系数,但中大多数系数的值接近于0。使用公式(4)的稀疏表示,被调制的传感器图像可以被表示为:
i=Φh=ΦDa, (5)
根据压缩感知理论,假设高光谱图像是k-稀疏的(k-sparse),表明了它最多能够被公式(4)中的k个原子(dj)线性叠加来表示,并且测量值的数量m>O(klog(q/k)),那么未知稀疏变量a可以通过求解一个BPDN(Basis PursuitDenoising,基追踪降噪优化问题)来恢复:
其中,ε是残差。本质上,压缩感知技术是通过寻找最稀疏且满足测量值的系数向量a来求解欠定系统(公式(5))。在实际中通过解决公式(6)的拉格朗日形式来求解:
其中ξ是平衡数据项和正则项的系数。
进一步地,公式(6)、(7)中的稀疏重建需要一个很好的稀疏基。因此,在以下实施例中,重点阐述本发明实施例的一个重要内容就是学习一个过完备的高光谱字典,该字典包含了自然界高光谱图像稀疏表示下的高光谱原子。其中,这些高光谱原子的固有特性大大减少了重建时间:取代解决一个单独而且庞大的优化问题,本发明实施例将其分解成很多小的独立优化问题来同时并行解决。在实际中,本发明实施例从每个以传感器像素点为中心的编码二维图像块重建出对应的高光谱图像块,所重建的高光谱图像块最后被合并成一个全传感器分辨率的高光谱图像。进一步地,高光谱图像块的重建可以并行的处理,使重建的时间只随着传感器分辨率增加而线性递增。、
具体地,在本发明的一个实施例中,从训练数据集学习得到的字典通常比使用相关技术中的基函数(例如离散余弦变换基(Discrete Cosine Transform,DCT)或者小波基(Wavelet))具有更好的稀疏表示形式,因此能够获取更好重建的结果。本发明实施例学习了一个由高光谱原子组成的过完备字典作为自然界高光谱图像的一个稀疏表示。过完备字典D是从大量训练样本中学习而来的,这些样本是三维的空间光谱图像块,每个图像块的分辨率为n=lx×ly×lλ。这些样本是从训练高光谱图像集中随机选取特定数量的高光谱图像块获得的。字典学习可以形式化为优化问题:
其中,为o个图像块所组成的训练集,是每列为k-稀疏向量ai的矩阵,并且k(k<<q)为指定的稀疏程度。
本发明实施例通过联合光学空间光谱调制和稀疏约束的重建算法来实现。空间光谱的编码采样方式能够获得一种空间变化的颜色光谱编码,在投影测量时能够提供了更高程度的随机性,从而能够获得比先前压缩高光谱成像方法更高的重建性能。具体地,本发明实施例提出了压缩高光谱成像模型来联合空间光谱光学编码三维高光谱图像投影和稀疏重建方法,并通过过完备字典以利用高光谱图像的稀疏约束,且通过在传感器平面和色散器形成的光谱平面之间放置一个静态的廉价的衰减掩膜,获得了空间上不一致的高光谱图像颜色光谱编码到传感器图像,以及引入了高光谱原子作为自然界高光谱图像重要的组成元素,所提出的高光谱原子不仅用于从二维编码投影中重建出高分辨率的三维高光谱图像,而且可以用于对高光谱图像进行压缩和去噪,以搭建SSCS相机的原型系统并验证了方法的可行性。
以下结合本发明实施例提出的高光谱原子学习、计算高光谱相机设计和稀疏重建的具体实施例和相应的分析进行详细说明。
在本发明的一个实施例中,首先训练高光谱原子。本发明实施例采用的K-SVD算法来解公式(8)的优化问题。其中,所采用的训练数据集是由哈佛大学Chakrabarti和Zickler提供的公用现实自然界高光谱的数据集,包含了太阳光下的50个室内和室外高光谱场景。每个高光谱图像包括了在420纳米至720纳米之间的31个光谱窄波段,每个大约10纳米的谱段宽度。这些数据集中包含了部分曝光过程中物体移动的区域,在选择图像块进行训练的时候通过使用给定的标签来避免选择这些区域。
进一步地,在本发明的一个实施例中,其次估计高光谱原子大小。高光谱原子的大小m在过完备字典训练中是一个很重要的参数,它与训练的图像块大小m=lx×ly相等。假设高光谱图像是k-稀疏的,则测量值的数量必须满足条件m>O(klog(q/k)),其中q与n成正比关系。对于固定的光谱尺寸和字典的过完备性,由于随着原子的大小的增大,m线性增加而O(klog(q/k))只是对数增长,因此增大空间原子的大小将使得重建问题变得更为适定。本发明根据经验,选取的原子大小为lx=ly=10,因此对应训练光谱图像块的大小是10×10×31,其中10×10是空间分辨率而31是字典学习中的光谱采样数。
进一步地,在本发明的一个实施例中,参照图4所示,然后解释高光谱原子。图4为一个训练到的过完备高光谱字典的视觉化结果,不同的谱段被标上了相应的颜色。可以观察到高光谱原子捕捉到了高维的边缘和高频结构,它们呈现出不同程度的旋转和剪切形变。图5(a)为“门”数据在不同的三维基函数下压缩性能的定量比较。当使用很少量的参数估计高光谱矩阵时,所述的三维高光谱原子相比其他传统的基函数表示能获得更好的压缩重建质量。此外,如图6所示,使用该数据仿真比较了三维主成分分析(PrincipalComponent Analysis,PCA)、三维离散余弦变换(DCT)和三维高光谱原子的稀疏重建结果,三维高光谱原子同样能获得更好的重建性能。复杂的高光谱结构能够很好地被很少的原子线性组合表示,因此高光谱原子是自然界中高光谱图像重要的组成元素。显然,高光谱原子的结构主要取决于特定的训练集;直观上,大量的多样化的自然界高光谱图像会呈现出一些相同的结构,而高光谱原子稀疏地表示了这些自然界高光谱图像的基本结构。
具体地,图5(a)为“门”数据的三维超光谱图像在不同三维基函数下的压缩率。图5(b)为“门”数据下所述稀疏重建算法的性能与字典的大小关系。图5(c)根据图5(e)中不同大小过完备字典的参数生成的直方图,统计了一个原子被用来表示训练数据的次数。图5(d)为在有传感器噪声时所述稀疏重建算法在不同场景(例如室内“椅子”、“书”、“纸”数据,或室外“门”、“房子”数据)下的性能。图5(e)为颜色编码后不同大小的过完备字典。图5为比较在不同的基函数(例如三维主成分分析(PCA)、三维离散余弦变换(DCT),三维高光谱原子)下使用本发明实施例的稀疏重建算法重建“门”数据的高光谱图像的性能。
进一步地,在本发明的一个实施例中,在本发明实施例中评估了字典的过完备性,也是从给定训练数据集中学习到的原子个数。相关技术中的标准正交基(例如离散余弦变换或者傅里叶基)是“1×”过完备,表明D是一个方阵(q=n)。然而,本发明实施例所训练的过完备高光谱字典是可以在学习过程中随意选择的。在评价“门”数据的过完备性时(参照图5(b)所示),可以观察到稀疏重建方法的性能(所重建的高光谱图像的PSNR)随着字典大小的增加而提升。然而,随着字典大小的增加,冗余也一直增加,参照图5(c)和图5(e)所示。图5(c)为图5(e)中显示的不同大小的过完备字典中系数的直方图,表明了一个原子在训练样本中被表示的次数。低过完备性的字典,例如“0.125×”的过完备字典,性能不是很好,参照图5(b)所示,是因为不能包含足够的原子来稀疏表示目标的高光谱图像,而过大的过完备字典则包含太多很少用到的参数,参照图5(c)所示。同时字典大小(过完备性)的增加也增加了训练和重建的时间,本发明实施例折中选用了“2×”过完备字典(6200个原子),足够用于表示本发明实施例所使用的特定训练数据。在实际过程中,本发明实施例随机从训练数据中选取100000个图像块进行字典的学习,可以用8核因特尔处理器,16GB的RAM(RandomAccess Memory,随机存取存储器)台式机经过了12个小时来获得训练字典。需要说明的是,这个过程是一次性的离线处理步骤,且图中不同标号数字对应不同颜色线条,以使本领域技术人员参考。
进一步地,在本发明的一个实施例中,本发明实施例的光学设计是通过加入一个衍射光栅,并在传感器前面加入一个编码衰减的掩膜来实现的,参照图3所示。下面讨论成像系统的硬件设计,并且分析本发明实施例和其它高光谱成像系统的性能对比。
在本发明的一个实施例中,本发明实施例首先讨论了不同掩膜图案对于重建结果的影响。本发明实施例所用的非线性重建算法能够获取全传感器分辨率的高光谱重建,可以采用宽频编码如MURA(Modified Uniformly Redundancy Array,修正均匀冗余阵列)图案的掩膜进行观测。然而,为得到高重建效果,观测应该尽可能提供稀疏基下不相干的信号投影,而使用随机编码进行观测在大多数稀疏基下(包括过完备字典)满足这个条件,因此作为压缩感知应用中的最常见选择。本发明实施例对于“椅子”训练数据进行了合成的仿真,参照图7所示,随机编码掩膜的高光谱重建的性能要好于宽频掩膜,具有更高峰值性噪比。随机高斯图案和随机二值图案重建性能比较相近,因此在真实数据的观测中本发明使用二进制0-1形式的随机掩膜以方便于打印。
进一步地,在本发明的一个实施例中,通过改变本发明实施例光学系统设计中掩膜的位置或者使用透镜阵列替代,可以获得其它不同形式的光学系统设计,参照图6中第二幅图所示。仅在空间进行调制相当于CASSI(Coded Aperture Snapshot SpectralImaging,编码光圈压缩高光谱成像)的系统。同时动态调节空间编码和光谱编码可以得到对DSCI系统(Dual Coded Compressive HyperspectralImging,偶编码压缩高光谱成像DSCI)。将针孔掩膜应用到高光谱多路复用,相当于PMVIS(Prism-Mask MultispectralVideo Imaging System,棱镜掩膜高光谱视频采集系统)。另外,在光谱面进行编码得到纯光谱编码,还可以将微镜阵列替代针孔掩膜用于高光谱多路复用。最后,同时也可以同时应用微镜阵列和随机编码如图8中图右侧所示。
本发明实施例通过两个指标来对比不同的系统的性能:光通量和重建的预期性能。光通量由光学系统的平均光透率τ来度量(数值越高越好)。衡量了预期的重建质量,其中G=ΦD为每一列进行了标准化的矩阵。因此G的每列是高光谱原子关于测量基的标准化投影。GTG的单个元素是每个投影的内积,故度量了投影之间的距离。GTG的对角元素总是1,对角线外的元素对应了投影下高光谱原子之间的相互距离。一个好的度量应该最大化这些距离,意味着GTG应该尽可能与单位阵相近(μ的值越低越好),因为正交基的内积为0。
参照图8所示,从光学上讲,微镜阵列具有最好的光透率,除了针孔掩膜光学系统设计外,大多数基于掩膜的设计的光透率都在0.5左右。空间与光谱独立动态编码的对偶编码系统的光透率是0.25。对于期望的重建质量,微镜阵列性能最差,其次是编码的微镜阵列,棱镜掩膜高光谱视频采集系统,编码光谱,编码光圈以及本发明的空间光谱编码。虽然对偶编码相比本发明有更低的μ值,但是这种设计降低了光透率。参照图8所示,这些系统间μ值差别不是很大,但是重建性能的差别却很显著,这里所有光学系统的性能比较都是基于本发明的重建方法和过完备字典下获得的。
在本发明的一个实施例中,参照图9所示,图9为本发明一个实施实例所搭建的原型系统。佳能EOS 5D(焦距24米)的物镜用来将图像成像到衍射光栅上。衍射光栅用的是Thorlabs GT50-06V型号光栅,600个凹槽每毫米,28.7度的闪耀角。被色散的光线经一个4f系统(焦距75毫米,直径2英寸)继接后重新成像。为了调节掩膜和传感器之间的距离,用另一个中继透镜(焦距50毫米,直径2英寸)将图像继接到传感器上。传感器用的是Point Grey的GRAS-50S5M-C灰度相机,分辨率2448×2048,像素大小3.45微米。所使用的二值掩膜的分辨率是384×512,打印在胶片上,大小为7.7毫米×10.3毫米(2520dpi)。本发明的实施例中,每个掩膜像素由一个4×4大小的传感器像素块所表示,最大调制分辨率是384×512。因此在采集到掩膜调制的高光谱投影后,需要调整传感器图像的相应大小。此外,使用400-820纳米的带通滤波器滤掉不需要的光谱谱段。
本发明实施例通过在阳光下采集一个标准白板的来校准编码高光谱采集系统。首先将掩膜放置在像平面可以得到掩膜的图案然后,将掩膜远离像平面移动,可以得到剪切后掩膜的图案假设每个相邻谱段的掩膜剪切形变是等间距的,因此剪切的程度可以通过解一个最小值优化问题:来得到,于是可以得到每个子调制矩阵Φj。校准过程和测量矩阵Φ只需要采集一次。
进一步地,在本发明的一个实施例中,本发明实施例采用SPGL1算法来鲁棒求解公式(7)中优化问题,设定残差为0.0001,迭代次数为250次。在重建过程中,编码的传感器图像被分为交错的二维图像块,每个图像块的分辨率为10×10像素,它们在每个像素点的周围形成一个滑动窗口。然后从这些窗口中恢复出一个个小的三维高光谱图像块。这些重建出的交错三维图像块通过中值滤波器来合并。对于本发明实施例中所实际采集的数据,从一张的传感器图像中重建出31个谱谱段空间分辨率为374*502像素的超光谱图像(420nm至720nm,10nm间距)。重建的过程通过并行的方式进行处理,本发明实施例使用8核处理器、16G RAM的处理设备,每个超光谱场景耗时大约25小时。
其中,由于本发明实施例中光学相机设计使用的随机掩膜减少了一半的光通量,本发明实施例也验证了重建算法对传感器噪声的鲁棒性,如图5(d)所示。在实施过程中,向仿真的编码传感器图像加入高斯白噪声并通过PSNR来度量噪声的大小。本发明实施例在测试算法时,对5个不同合成数据进行了测试,分别是“椅子”、“门”、“房子”、“书本”和“纸”数据。图5(d)表明本发明的算法即使在很大的噪声水平下依然能够鲁棒的恢复出高光谱图像(输入传感器图像20dB,重建结果大约有30dB)。
在本发明的一个实施例中,本发明实施例在合成和实采数据上验证了所提出的方法,并且定量对比了本发明和CASSI(Coded Aperture Snapshot Spectral Imaging,编码光圈压缩高光谱成像)的方法。真实的数据通过使用本发明的相机系统进行采集,并且由单张传感器图像重建出高光谱图像。每个重建过程中,所用的编码和过完备字典是一样的。至于相机响应和光照校准,本发明所用的灰度相机在不同波长下的灵敏度如图12所示。将它和学习到的字典相乘来实现相机光谱响应的校准。重建出的高光谱图像是太阳光光谱和场景反射属性叠加后的光谱分布,本发明通过使用标准颜色校准板来实现对光照光谱响应的校准。
在本发明的一个实施例中,本发明实施例将调制掩膜根据不同程度的剪切形变分别叠加到每个高光谱图像上合成带有掩膜调制的二维传感器图像,从而仿真SSCSI(Spatial Spectral Encoded CompressiceHyperspectral Imaging,空间光谱编码压缩高光谱成像系统)系统采集到的传感器图像结果。同时,如果不对掩膜进行剪切形变,而只是在空间上采取统一调制,可以合成CASSI系统下的采集到的传感器图像。本发明实施例在室外“门”的数据和室内“椅子”的数据上分别进行了仿真对比,参照图10所示,对比的结果表明本发明的重建结果很明显地比CASSI系统更精确,信噪比(PSNR)更高。另外,本发明实施例还定量地对比了两种方法在同一位置下的光谱特性曲线。“门”数据的平方和误差(SSE)分别为0.0101(SSCSI)和0.1502(CASSI),“椅子”数据的误差平方和分别为0.0252(SSCSI)和0.3083(CASSI)。
进一步地,在本发明的一个实施例中,参照图11所示,图11是一个太阳光下的室外场景的重建结果。本发明实施例从一个空间光谱编码的二维投影中重建出420纳米至720纳米间31个光谱谱段高光谱图像。RGB(Red,Green Blue,红绿蓝)彩色图像是通过对重建的高光谱图像的进行色度映射而成的。对于量化的性能评估,本发明实施例计算了颜色板上24个归一化的光谱特性曲线和标准曲线之间的平方和误差(SSE),平均的SSE为0.0050。
进一步地,在本发明的一个实施例中,参照图12和图13所示,图12、图13说明了本发明实施例对于环境光照下的室内场景重建的性能。图12采集了一个大堂的环境,场景包含的复杂的光照效果,例如由大理石和雕塑产生的互反射和镜面反射。这些复杂光照效果以及盆栽的精细结构都成功地被本发明的方法重建出来。定量的评估计算颜色板上三个位置处的光谱特性曲线的重建结果和真值之间的平方和误差(SSE),相应的SSE分别是0.0026,0.0079和0.0058。图13是在低光照的卧室中拍摄的,本发明实施例能够可靠地重建出了三维高光谱图像。
进一步地,在本发明的一个实施例中,参照图14所示,本发明实施例能够从一张二维图像中恢复三维的高光谱图像,因此可以应用于恢复动态场景。为了验证这种可行性,图14为多帧摆放了水果饮料的旋转椅子,本发明实施例能获取比相关技术中的方法更高空间分辨率的重建结果。
进一步地,下面阐述三维高光谱过完备字典和稀疏重建技术的其它应用:三维高光谱图像压缩和三维高光谱图像去噪。
其中,在本发明的一个实施例中,学习到的三维高光谱过完备字典可以用来实现高光谱图像的压缩,本发明实施例已经在上文从定量和定性的角度展示了三维高光谱图像的压缩性,所以给定压缩比率或者一个固定的系数数字,通过寻找高光谱图像在字典上的最优表示可以对其进行压缩。因此,本发明实施例可以通过解一个LASSO优化问题来实现:
其中,h表示三维高光谱图像块,三维高光谱图像块为最多使用k个原子表示的图像块。参照图15所示,图15对比了用三维离散余弦变换基(3D DCT)和三维高光谱原子(3DHS Atoms)在一个固定压缩比率下,对同一个室外“门”数据的压缩性能。在这个实验中,31个光谱带的高光谱图像被分为10×10×31个空间光谱的图像块分别进行压缩。在压缩后进行复原,可以发现三维高光谱原子的方法相比于三维离散余弦变换的方法在相同的压缩比率(1/200)取得了更好的压缩性能,并且图像块间的过渡也更加平滑。
进一步地,在本发明的一个实施例中,本发明实施例应用学习到的过完备字典和稀疏编码的技术来对三维高光谱图像进行去噪处理。与三维高光谱图像压缩类似,去噪的目标是通过一些无噪声的原子来线性表示含有噪声的给定三维高光谱图像,也可以通过解决公式(9)的优化问题来解决。这个过程相当于将一个非线性的三维去噪滤波器应用在三维高光谱图像上,参照图16所示的去噪结果实例。
本发明实施例提出的高光谱计算相机相比于相关技术中的高光谱相机能够获得更高的空间分辨率。本发明实施例证明了能够从空间光谱编码的高光谱投影像重建出高质量的高光谱图像。这些成果得益于将光学设计、自然界高光谱图像的稀疏表示和非线性稀疏重建技术相结合。
进一步地,本发明实施例所用的掩膜相比于其他空间光调制器(如LiquidCrystal on Silicon(LCOS)和Liquid Crystal Display(LCD))提供了更高的对比度。然而相比于折射光学元件(例如微镜阵列),虽然掩膜十分廉价,但是它减少了整个光学系统的光通量并且它被衍射现象所限制。此外,相关技术中的重建分辨率也受掩膜的分辨率所限制,而掩膜的分辨率受限于打印设备的打印分辨率。
进一步地,过完备字典中的高光谱原子适应于训练数据,如果采集到的场景的某些结构在训练数据中没有的话,重建质量将会降低。学习到的过完备字典在稀疏重建的过程中需要进行存储,因此增加了内存的负荷。本发明实施例提出的压缩高光谱成像相机的重建时间比很多其他的高光谱相机要长很多,不过分成很多三维图像块进行并行的处理将使重建大大加速。
综上所述,本发明实施例已经评估了一系列现有的高光谱相机设计,也展示了一些新型的高光谱相机的光学原理图,有待去进一步探索。虽然本发明实施例所用的随机掩膜图案能够提供高质量的结果,将来还会继续优化掩膜的图案来进一步提升重建的性能。总之,本发明实施例展示了一种高分辨率地高光谱快照成像系统,它通过空间光谱编码对压缩高光谱图像进行二维投影采集空间光谱编码压缩高光谱成像系统(Spatial SpectralEncoded CompressiceHyperspectral Imaging,SSCSI),分析和评估了自然界高光谱图像的稀疏表示、从二维编码的图像鲁棒重建出三维高光谱图像,其它的应用包括了三维高光谱图像压缩和去噪。相信本本发明实施例将为今后通过探索维度视觉信息本质的冗余来构建下一代的高光谱计算成像系统提供了很多不可缺少的借鉴。
根据本发明实施例提出的高光谱图像的生成系统,通过对高光谱数据集进行稀疏编码得到过完备字典,且根据目标场景的原始高光谱图像和调制矩阵得到单张编码的二维传感器图像,并根据过完备高光谱字典对单张编码的二维传感器图像进行还原,从而重建目标场景的高光谱图像,在测量投影时提供了更高程度的随机性,从而获得更高的重建性能,并且可以从编码后的投影图像中高质量地恢复出高光谱图像,以重建出高分辨率的三维高光谱图像。另外,本发明实施例所使用的完备高光谱字典和稀疏编码技术可应用于三维高光谱图像的压缩和去噪。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。另外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。