CN109087262B - 一种多视图光谱图像的重建方法、存储介质 - Google Patents

Abstract

一种多视图光谱图像的重建方法、存储介质，包括获取光场的稀疏基和稀疏向量；采集一组n乘n视角的多视图光谱图像，其中每个视角均包含场景中m1~m2波长范围内的光谱信息，且光谱分辨率为m；为ST2中每个视角均随机生成测试矩阵；重建多视图光谱图像：包括在光谱分辨率为m的条件下，在每个波段，将每个视角的光谱图像与该视角对应的测试矩阵点乘以后相加，得到测量值y后，通过压缩感知重建方法重建各波长处的单波段多视图光谱图像；或者将每个视角的光谱图像合成为一幅真彩色图像，再通过压缩感知重建方法重建真彩色多视图图像。本发明可以同时获取场景的深度信息和光谱信息，打破了传统光谱成像只能获取光谱信息的局限性，促进了光谱成像的各个领域的应用。

Description

一种多视图光谱图像的重建方法、存储介质

技术领域

本发明涉及一种光场的重建方法，尤其涉及一种基于压缩感知计算成像的多视图光谱图像的重建方法和存储介质。

背景技术

光谱成像技术是以物方的光谱信息为基础，分析各个波长下的光谱特性，实现对物方成分的分析技术。相比与普通成像技术来说，光谱成像不仅可以获取物方二维平面信息，还可以获取物方的光谱信息。可用于地质勘查、伪装识别、环境监测等领域。目前光谱成像技术根据光谱分辨率可以分为三类，即多光谱成像、超光谱成像和超高光谱成像技术。其对应的光谱分辨率为几十个、几百个、上千个谱段。按照分光方式来说，主要包括色散型和干涉型两类。色散性是在成像系统中加入分光元件，可以直接采集到光谱信息。干涉型需要对采集到的信号进行傅里叶变换才可以获取光谱信息。

计算成像技术作为一种成像的新方法近些年也得到很大的进展，与普通成像相比，计算成像增加了计算处理的环节，可以通过对采集的图像进行处理，获取物方更多的信息。并把它运用在机器视觉、医学成像等领域。美国杜克大学将计算成像应用到光谱成像领域，提出了一种编码孔径快照光谱成像系统(CASSI)，实现只需要一次采集，根据各个波段下光谱数据的稀疏行，通过压缩感知优化重构算法获取光谱数据立方体。Delaware大学对CASSI系统进行了改进，在成像系统中，利用DMD代替CASSI系统中的静态编码图案。通过采集一系列不同编码图案对应的压缩图像，提高了重构光谱图像的信噪比。

目前计算成像应用到光谱成像领域主要的工作是实现了光谱信息的压缩采集和重建，减少了光谱图像采集的复杂性。通过光谱图像获取物方深度信息的研究大部分还是在于通过分析采集的光谱曲线，反映物方的特征用来实现对雪、水的深度估计。不能实现对常规物方场景的深度计算。

发明内容

本发明提供一种多视图光谱图像的重建方法和存储介质，以解决现有技术存在的问题。

本发明采用以下技术方案：

一种多视图光谱图像的重建方法，包括以下步骤：

ST1：获取光场的稀疏基Ψ和稀疏向量α；

ST2：采集一组n乘n视角的多视图光谱图像，其中每个视角均包含场景中m1～m2波长范围内的光谱信息，且光谱分辨率为m；其中，n、m1、m2、m均为大于0的正整数；

ST3：为ST2中每个视角均随机生成测试矩阵Φ；

ST4：重建多视图光谱图像：

包括：

在光谱分辨率为m的条件下，在每个波段，将ST2中的每个视角的光谱图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建各波长处的单波段多视图光谱图像；

或者

将每个视角的光谱图像合成为一幅真彩色图像，再通过压缩感知重建方法重建真彩色多视图图像。

所述ST4中，获取真彩色多视图图像的方法为：

(1)计算m1～m2波长范围内，各视角光谱图像在CIE-XYE色彩空间的刺激值；

(2)将CIE-XYE色彩空间的刺激值转换到RGB空间，得到各视角光谱图像在RGB空间的刺激值；获取各视角的真彩色图像；

(3)将各视角真彩色图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建真彩色多视图图像。

所述ST4中，获取真彩色多视图图像的方法还包括：

在(2)中获取各视角的真彩色图像后，对该真彩色图像分别进行伽马校正和对比度拉伸后，得到增强后的各视角真彩色图像，再通过该增强后的各视角真彩色图像进行真彩色多视图图像的重建。

所述ST1中：

(1)通过采集多组自然光下的多视图图像作为光场的样本集，通过K-SVD算法训练学习得到光场过完备字典，然后得到稀疏基Ψ；

(2)通过测量值y和传感矩阵Θ采用l₁范数优化得到稀疏向量α；所述传感矩阵Θ表示测量矩阵Φ与稀疏基Ψ的乘积。

K-SVD算法训练光场过完备字典满足下式：

其中，E_k是字典稀疏基Ψ除去第k列之外与光场样本集合的残差；ψ_k代表稀疏基Ψ的第K列，

表示ψ_k所对应的稀疏系数；||||_F代表弗罗贝尼乌斯范数，即F范数；

为使对E_k进行SVD分解得到的

是一个稀疏向量，上式可写为：

其中，w_k是光场样本集{f_i}中使用了字典原子ψ_k的光场图像块，

Ω_k是一个大小为N×|w_k|的矩阵，在(w_k(i)，i)处为1，其它处为0，N为光场样本集的个数。

各视角光谱图像在CIE-XYE色彩空间的刺激值的计算方法为：

其中S(λ)为光源光谱，即光源在各个波段分布情况；ρ(λ)是场景的反射率，即各个波段下光谱图像的灰度；x(λ)、y(λ)、z(λ)是不同波长在X、Y、Z色彩空间的刺激值；

将CIE-XYE色彩空间的刺激值转换到RGB空间的转换矩阵为：

其中(R’，G’，B’)为CIE-XYE色彩空间的刺激值转换到RGB空间的RGB值。

存储介质，存储有多条指令，当所述多条指令被处理器读取时，能够实现如权利要求1～6任一项所述的方法。

本发明的有益效果：本发明可以同时获取场景的深度信息和光谱信息，打破了传统光谱成像只能获取光谱信息的局限性，促进了光谱成像的各个领域的应用，例如；在遥感中，可以同时监测地球环境变化的深度信息和光谱信息；在机器视觉中，深度和光谱信息的结合有利于跟踪和识别不同深度的目标，完成跟踪和识别等关键任务，提高跟踪和识别效率；在医学中，深度和光谱信息对不同深度的目标材料或标本的描述，能够为准确诊断提供了有效的参考

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明利用基于光场理论的压缩感知计算成像来实现多视图光谱图像重建，利用光场理论对光场数据分析，得到多视图图像，是完成深度估计和实现三维重建的技术手段之一。该方法为增加传统光谱图像的深度维信息提供了有效的解决途径，将促进光谱成像技术更广阔的应用。

具体来说，本发明提供一种多视图光谱图像的重建方法，包括以下步骤：

ST1：通过字典训练获取光场的稀疏基Ψ和稀疏向量α；

ST2：采集一组n乘n视角的多视图光谱图像，其中每个视角均包含场景中m1～m2波长范围内的光谱信息，且光谱分辨率为m；其中，n、m1、m2、m均为大于0的正整数；

ST3：为ST2中每个视角均随机生成测试矩阵Φ；

ST4：重建多视图光谱图像，包括两种重建方法：

(1)在光谱分辨率为m的条件下，在每个波段，将ST2中的每个视角的光谱图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建各波长处的单波段多视图光谱图像；

或者

(2)将每个视角的光谱图像合成为一幅真彩色图像，再通过压缩感知重建方法重建真彩色多视图图像。

上述(2)中，获取真彩色多视图图像的方法为：

1、计算m1～m2波长范围内，各视角光谱图像在CIE-XYE色彩空间的刺激值；

2、将CIE-XYE色彩空间的刺激值转换到RGB空间，得到各视角光谱图像在RGB空间的刺激值；获取各视角的真彩色图像；上述获取RGB刺激值后，把RGB刺激值赋值到图像矩阵中既能显示图像，因为通常显示的图像是由RGB三种颜色来组成的。

3、将各视角真彩色图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建真彩色多视图图像。

而由于不同的系统对光谱采集的图像不同，合成的真彩色图像也不同，可对生成的真彩色图像进行伽马校正和对比度拉伸，增加图像的对比度，增强图像的细节信息，再获取真彩色多视图图像。即在上述中，获取各视角的真彩色图像后，对该真彩色图像分别进行伽马校正和对比度拉伸后，得到增强后的各视角真彩色图像，再通过该增强后的各视角真彩色图像进行真彩色多视图图像的重建。

本发明采用的重建方法为压缩感知的重建方法，它的具体重建原理和方法如下所述：

(1)压缩感知的光场重建

压缩感知是一种新的采样理论，可以突破奈奎斯特采样定律以较低的频率采样，只要满足：(1)原始信号可以在稀疏基下稀疏表示；(2)稀疏基Ψ与测量矩阵Φ满足约束等距性(RIP)就能够高概率的重构原始信号。

对信号f(f∈Rⁿ)压缩感知理论采样过程可表示为：

y＝Φf， (1)

其中Φ(Φ∈R^m×n(m＜＜n))是测量矩阵，m是维数，代表通过相机捕捉的光场图像个数；n是维数，表示要恢复的光场图像个数；R表示实数集，其中m是采集的信号维数，n是恢复出信号的维数，测量矩阵是一个实数矩阵。

f是原始信号，对应着多视图光谱图像，也就是一组光场数据和需要重构的光场图像，若信号f是稀疏的，则可通过测量值y与测量矩阵Φ重建原始信号。Φ是测量矩阵。y是测量值，即采集到的信号。Ψ是可以让原始信号稀疏表示的稀疏基，对应的稀疏向量是α。

但在自然界中信号往往是不稀疏的，因此需要对信号稀疏表示，对信号f(f∈Rⁿ)若存在稀疏基Ψ(Ψ∈R^n×d)和稀疏向量α，则信号f可稀疏表示为：

f＝Ψα (2)

那么压缩感知的测量公式可表示为：

y＝ΦΨα＝Θα， (3)

对于稀疏向量α的非零元素个数小于或等于k时，即||α||₀≤k，则信号f的稀疏度为k。Θ是传感矩阵，它是稀疏基Ψ与测量矩阵Φ的乘积，对所有k稀疏向量α和任意的δ_K∈(0，1)，若

不等式成立，则传感矩阵Θ满足k阶约束等矩性。δ_K表示0-1之间的任意数。

其中，Ψ(Ψ∈R^n×d)为光场过完备字典，即稀疏基，n和d是稀疏基的行数和列数；

||||₀、||||₂分别表示0-范数和2范数；

信号重建是压缩感知理论的核心，目的是以较少的采样值(m＜＜n)重建原始信息，重建数学模型可表达为：

min_α||α||₁subject to y＝Θα， (4)

测量值y和传感矩阵Θ采用l₁范数优化得到稀疏向量α，再由稀疏基Ψ与稀疏向量α相乘最终获得原始信号f。

(2)光场过完备字典训练学习：

光场成像方法和普通成像方法不同，光场图像作为原始信号f，既包含物点光线的位置信息，也有物点光线的方向信息。所以光场的复杂性往往不能由傅里叶基(EFT)、离散余弦基(DCT)、小波基(DWT)等单一完备基来理想的稀疏表示。本文选择过完备字典作为稀疏基Ψ，提高复杂光场稀疏表示的通用性。通过采集多组光场样本数据作为光场样本集，将光场样本集随机分成多个p×q光场碎片，再利用K-SVD算法训练学习获取这个稀疏基Ψ^n×d(n＜d)，即光场过完备字典。

K-SVD算法是由K-Means算法扩展而来。假设稀疏基Ψ(Ψ∈R^n×d(n＜d))是光场过完备字典，f是代表光场样本，f_i表示第i个光场样本，α代表光场图像的稀疏表示系数向量。记

为N个光场样本集，

为F的稀疏系数向量的集合，则K-SVD算法可描述为：

其中T₀是稀疏系数向量中非零元素的最大值。

K-SVD算法对光场过完备字典训练学习通常有两个步骤：(1)稀疏编码：假定给定固定的字典Ψ，通过正交匹配追踪算法(OMP)，依次更新字典Ψ稀疏表示的系数向量A；(2)字典更新：由正交匹配追踪算法得到的系数向量A对字典更新，其中每次只更新字典Ψ的第k列Ψ_k以及所对应的稀疏系数

(表示系数向量A中与ψ_k相对应的第k行稀疏系数)。

则公式(5)可重新描述为：

其中E_k是字典Ψ除去第k列之外与光场样本集合的残差，要使(6)最小，只需要E_k与Ψ_k

接近，因此只需要对E_k进行奇异值分解(SVD)就可以更新字典的第k列ψ_k与对应的稀疏系数

但在SVD分解前需要去除

中的非零元素以保证SVD分解得到的

是一个稀疏向量，故定义w_k是光场样本集{f_i}中使用了字典原子Ψ_k的光场图像块，即

中非零索引值，则

定义Ω_k是一个大小为N×|w_k|的矩阵，N表示光场样本集个数，Ω_k在(w_k(i)，i)处为1，其它处为0。将

乘以Ω_k相当于去除

中零元素记

相应的

则公式(6)可改写为：

对矩阵

直接SVD分解即

用矩阵U的第一列更新ψ_k，用矩阵V的第一列乘以Δ(1，1)更新

逐列更新字典Ψ，并用新的字典稀疏分解光场，重复这个过程直到满足停止迭代条件即：达到样本光场与重建光场的最大误差或设定的最大迭代次数。

上述(6)、(7)中的k表示的是字典的第k列。

作为具体的实施方式，本发明在上述的ST2中进行数据采集时，采集一组5*5视角多视图图像。其中每个视角包含着场景中400-720nm波段的光谱信息，光谱分辨率为10nm，即每个视角有33副图像。

此时，测量矩阵的生成方法为：

测量矩阵Φ将完整光场值传递到测量值y，完成信号的线性测量和降维，即在采集光场图像时实现数据压缩。测量矩阵Φ与稀疏基Ψ共同构成传感矩阵Θ，重建原始信号时需要传感矩阵能够高概率地满足约束等距性。测量矩阵Φ与稀疏基Ψ之间高度不相干，则传感矩阵Θ满足k阶约束等矩性。为了最大程度的满足Φ与Ψ的不相干性，本发明用matlab随机生成0-1矩阵作为测量矩阵，其中每个测量矩阵对应于多视角光场一个视角。实现时用matlab生成随机矩阵小模块并排列成808×808的测量矩阵，共生成25个测量矩阵，对应于25个视角的光场数据采集。

生成测量矩阵后，在光谱分辨率为10的条件下，将400-720nm波段划分的33个波段的每个波段下的每个视角的光谱图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建各波长处的单波段多视图光谱图像。

由于单个波段的光谱图像相比自然光下的图像有信息的缺失，因此可以将光谱图像合成一幅真彩色图像，再进行多视图图像重建。

即计算400-720nm波长范围内，各视角光谱图像在CIE-XYE色彩空间的刺激值：

其中S(λ)为光源光谱，即光源在各个波段分布情况。ρ(λ)是场景的反射率，即各个波段下光谱图像的灰度。x(λ)、y(λ)、z(λ)是不同波长在X、Y、Z色彩空间的刺激。

求得的XYZ空间的刺激不能由计算机显示直接显示，因此需要转换到RGB空间。转换矩阵为

将各视角真彩色图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建真彩色多视图图像。

由于不同的系统对光谱采集的图像不同，合成的真彩色图像也不同，需要对每个视图生成的真彩色图像进行伽马校正和对比度拉伸，增加图像的对比度，增强图像的细节信息。

其伽马校正计算公式如下：

V_out＝(V_in)^gamma

V_in为输入数据，即为合成后的各视角的真彩色图像，V_out为输出数据，即校正后的各视角的真彩色图像，gamma为伽马值，当gamma值越高，图像越偏暗。

对比度拉伸公式如下：

图片f中的任一像素点的灰度值x，变换后得到f₁图像中相应像素点的灰度值x_f，此时经过处理的图像对比更加明显，更加接近真实拍摄的彩色图像。上述的x₁和x₂为设定的进行拉伸时对应的上下限阈值，y₁和y₂参数决定了拉伸变换的斜率。

本发明还提供一种存储介质，该存储介质用来存储计算机程序，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的技术人员来说，在不脱离本发明整体构思前提下，还可以作出若干改变和改进，这些也应该视为本发明的保护范围。

Claims (2)

1.一种多视图光谱图像的重建方法，其特征在于，包括以下步骤：

ST1：获取光场的稀疏基Ψ和稀疏向量α；

ST2：采集一组n乘n视角的多视图光谱图像，其中每个视角均包含场景中m1～m2波长范围内的光谱信息，且光谱分辨率为m；其中，n、m1、m2、m均为大于0的正整数；

ST3：为ST2中每个视角均随机生成测试矩阵Φ；

ST4：重建多视图光谱图像：

包括：

将每个视角的光谱图像合成为一幅真彩色图像，再通过压缩感知重建方法重建真彩色多视图图像；

所述ST4中，获取真彩色多视图图像的方法为：

(1)计算m1～m2波长范围内，各视角光谱图像在CIE-XYE色彩空间的刺激值；

(2)将CIE-XYE色彩空间的刺激值转换到RGB空间，得到各视角光谱图像在RGB空间的刺激值；获取各视角的真彩色图像；

(3)将各视角真彩色图像与该视角对应的测试矩阵Φ点乘以后相加，得到测量值y后，通过压缩感知重建方法重建真彩色多视图图像；

所述ST4中，获取真彩色多视图图像的方法还包括：

在(2)中获取各视角的真彩色图像后，对该真彩色图像分别进行伽马校正和对比度拉伸后，得到增强后的各视角真彩色图像，再通过该增强后的各视角真彩色图像进行真彩色多视图图像的重建；

其伽马校正计算公式如下：

V_out＝(V_in)^gamma

V_in为合成后的各视角的真彩色图像，V_out为校正后的各视角的真彩色图像，gamma为伽马值；

对比度拉伸公式如下：

图片f中的任一像素点的灰度值x，变换后得到f₁图像中相应像素点的灰度值x_f，其中x₁和x₂为设定的进行拉伸时对应的上下限阈值，y₁和y₂参数决定了拉伸变换的斜率；

所述ST1中：

(1)通过采集多组自然光下的多视图图像作为光场的样本集，通过K-SVD算法训练学习得到光场过完备字典，然后得到稀疏基Ψ；

(2)通过测量值y和传感矩阵Θ采用l₁范数优化得到稀疏向量α；所述传感矩阵Θ表示测量矩阵Φ与稀疏基Ψ的乘积；

K-SVD算法训练光场过完备字典满足下式：

其中，

为N个光场样本集，

为F的稀疏系数向量的集合；E_k是字典稀疏基Ψ除去第k列之外与光场样本集合的残差；ψ_k代表稀疏基Ψ的第K列，

表示ψ_k所对应的稀疏系数；|| ||_F代表弗罗贝尼乌斯范数，即F范数；k表示的是字典的第k列；

为使对E_k进行SVD分解得到的

是一个稀疏向量，上式可写为：

其中，w_k是光场样本集{f_i}中使用了字典原子ψ_k的光场图像块，

Ω_k是一个大小为N×|w_k|的矩阵，在(w_k(i),i)处为1，其它处为0，N为光场样本集的个数；

为

中的非零元素；

各视角光谱图像在CIE-XYE色彩空间的刺激值的计算方法为：

其中S(λ)为光源光谱，即光源在各个波段分布情况；ρ(λ)是场景的反射率，即各个波段下光谱图像的灰度；x(λ)、y(λ)、z(λ)是不同波长在X、Y、Z色彩空间的刺激值；

将CIE-XYE色彩空间的刺激值转换到RGB空间的转换矩阵为：

其中(R’，G’，B’)为CIE-XYE色彩空间的刺激值转换到RGB空间的RGB值。

2.存储介质，存储有多条指令，其特征在于：当所述多条指令被处理器读取时，能够实现如权利要求1所述的方法。

Images