CN106840398A - 一种多光谱光场成像方法 - Google Patents

Abstract

本发明公开了一种多光谱光场成像方法，采用的硬件包括：沿光路方向顺次设置宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置。成像方法为：在异构相机阵列的每个相机镜头和传感器中间放置不同波长的宽带滤波片，使得相机阵列中的每个相机接收固定波段的光谱信息；通过信息联合处理装置对相机阵列获取的多路信息进行基于卷积神经网络的立体匹配以获取入射光线的角度信息，得到全视场范围内的光场信息；根据相机之间的分布位置进行相机校准和视场对齐，通过光谱解复用获取相机阵列中任一相机视角下三倍于相机个数的多波段光谱信息。本发明能在同一时间获得全视野范围内每一像素的多光谱光场信息，实现光场和光谱信息的动态联合获取。

Description

一种多光谱光场成像方法

技术领域

本发明涉及计算机摄像学领域，特别涉及到一种多光谱光场成像方法。

背景技术

计算摄像学是一门将计算机视觉、数字信号处理、图形学等学科深度交叉的新兴研究方向，旨在结合计算、光学系统和智能光照等技术，将成像系统采集能力与计算机的处理能力相结合，从成像机理上来改进传统相机，并将硬件设计与软件计算能力有机结合，突破经典成像模型和数字相机的局限性，增强或者扩展传统数字相机的数据采集能力，全方位地捕捉真实世界的场景信息。开展场景光场光谱信息的相关研究工作，同时获取高空间、时间、光谱和方向分辨率的图像，这对于三维重建、安全侦察、数字娱乐等领域有重要意义。

在计算摄像学领域，通常使用7维全光函数f(x；y；z；θ；λ；t)对光信号进行描述：某一时刻t，在三维空间任意位置x；y；z，沿着方向θ；观察到频率为λ、强度为|f(x；y；z；θ；λ；t)|的光线。但是，经典成像模型是7维全光函数的一个2维投影子空间采样，仅在2维空间维度(x；y)上具有高采样能力，并进行RGB三色成像，而对其它维度的信息采样能力极其受限。但是从多光谱与视觉的技术原理来说，包含光线角度、场景深度、光谱等高维度的信息仅仅用RGB三个通道来代替，会失去大量细节，而这些包括深度和光谱的丰富细节往往能够揭示物体和场景光线的很多特性，也能在很多计算机视觉领域的工作获得长足进步。

现有高光谱技术对于传统成像技术进行扩展，能够获取多维光谱信息，但是根据技术要求和采集条件不同，采集系统大多都是通过牺牲空间分辨率或者时间分辨率来补偿光谱分辨率，并且丢失了深度信息。

Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播，包含了一系列不同视角对同一场景的二维图像，描述了在常数时间t和波长λ下的全光函数，能够获取全视场范围内光源的空间角度信息，从而能够进一步进行几何重建和深度获取等应用。

目前市场上只有单一多光谱相机或者单一深度信息的相机，对于能够联合采集场景深度信息、多光谱信息以及角度信息的相机尚未诞生，而随着光场信息和光谱信息在识别上的重要性越来越大，设计一种能够同时进行光场和光谱信息采集的系统可以极大促进计算摄像学领域中针对场景信息重构的研究。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提出一种多光谱光场成像方法，可以实现光谱信息与光场信息的同时获取。

为达到上述目的，本发明采用以下技术方案：

一种多光谱光场成像方法，包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置；其中，宽带滤波片阵列与异构相机阵列相互平行对齐；所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线，再分别入射到异构相机阵列中的各个相机；控制板阵列与所述异构相机阵列相连，以进行相机参数配置和同步触发控制，实现多路图像或视频信息同时采集并传输到信息联合处理装置；所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示；所述信息联合处理装置的处理方法为：根据两两相机之间姿态不同获取的图像对的视差信息，训练基于孪生网络架构的卷积神经网络，对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息，得到全视场范围内的光场信息；利用视差算法重建全视场范围内的深度信息；根据相机阵列内外参数，结合立体匹配和图像对齐算法进行相机校准和视场对齐，通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息，从而获取多光谱光场信息，其中M为异构相机阵列中每行的相机个数，N为异构相机阵列的行数，且M、N均为正整数。

所述宽带滤波片阵列由相关性最小(条件数最小)的M*N片共平面不同波段的滤波片构成，各滤波片分别置于各相机镜头和传感器中间，以保证最终光谱重建效果；所有滤波片的尺寸均相同。

所述异构相机阵列由M*N个共平面的商用彩色或者灰度相机构成，且光轴相互平行。优选地，所有相机的型号均相同。

对所述异构相机阵列进行内外参数配准，使得不同相机视场中的对应点位于同一水平或垂直对极线，以消除系统误差。

所述异构相机阵列中的相机同时拍摄，一次性获取M*N张图像或动态视频。

所述控制板阵列将多路信息以raw格式或者MPEG2视频流格式传输到信息联合处理装置。

为了消除传统立体匹配问题中强度一致性约束的影响，所述信息联合处理装置的处理方法中，引入基于孪生网络架构的卷积神经网络，通过遍历KITTI2015立体匹配彩色图像数据集的RGB三通道，获取三倍于原数据的训练集，进行卷积神经网络的参数训练。

所述图像对齐算法引入中间图像作为媒介，对于不同行且不同列的图像对来说，任意位置的对应点都可以在中间图像的帮助下进行对齐，而不再需要对角线图像的对极线校准这一复杂过程。

所述光谱解复用算法在目标函数中引入非负约束和平滑约束，使用投影梯度法获取光谱重建最优解：

s.t.s(i)≥0 for all i

其中，s＝[s₁,s₂,…s_N]^T为所求场景表面的重建多光谱信息，P＝[p₁,p₂,…p_N]^T为相机阵列通过立体配准对齐得到的单像素宽波段信息，表示结合相机响应曲线和滤波片传播曲线的光谱传感矩阵，是求导符号，η表示平滑约束权重。

本发明的多光谱光场成像方法可以获取全视场范围内任一相机视角的多光谱信息，实现包括光谱和光场的全光信息的动态联合获取，能够弥补传统光场相机缺乏高分辨率光谱信息的问题。通过调整系统装置的参数，可以拥有更高的光谱分辨率和更充足的光场信息；通过采用更高精度的成像设备，可以获得具有重大意义的场景重建所需的高光谱分辨率和更精确的光场信息。因此，本发明的方法有着非常重要且广泛的应用。

附图说明

图1为本发明实施例中多光谱光场成像方法的异构相机阵列的硬件结构示意图；

图2为本发明实施例所使用的滤波片阵列实物图(a)，其光谱透射曲线(b)以及所使用异构相机阵列的相机传感器光谱响应曲线(c)；

图3为本发明多光谱光场成像方法的流程框图；

图4为本发明使用标准色板曲线进行的验证示意图；

图5为本发明中使用多光谱光场成像方法在室内碘钨灯光照下全部八个相机视角各自的光谱重建示意图。图(a)和(b)分别从光场中重建所得的24个光谱通道中选取了578nm和634nm两个光谱特征波段，并利用相机传感器曲线渲染为RGB图像进行单波段光谱重建效果展示。(a)和(b)的前两行均为整幅场景的重建结果，后两行为前两行方框部分的细节放大图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1，本发明的异构相机阵列系统由2*4的宽带滤波片阵列1、2*4的异构相机阵列2、控制板阵列3和信息联合处理装置4四个主要部分组成。所有光学元件相对于基底同轴等高。

本发明的实例中，2*4的异构相机阵列2由八个相同的PointGrey GS3-U3-51S5C-C相机构成，均使用Sony IMX250 CMOS 2/3”传感器，镜头焦距25mm，F数为16，分辨率2448*2048，帧率75FPS。这八个相机相互平行放置，固定在3D打印的金属支架上，搭建一个2*4的相机阵列，并允许一定空间内自由旋转平移。相机阵列2中，每个相机传感器和镜头中间都放置了宽带滤波片，构成滤波片阵列1，通过光谱复用以获取同一场景不同波段的彩色图像。图2中(a)(b)(c)分别展示了宽带滤波片阵列1的实物图，其各自的八条光谱透射曲线以及相机阵列2的相机传感器响应曲线。

控制板阵列3由八个单独的开发板构成，分别通过一根电缆传输线连接每台相机，从而对每台相机进行参数配置和同步控制。

信息联合处理装置4控制整个系统，接收来自控制板阵列3的raw数据或者MPEG2视频流至硬盘上，或者进行数据实时处理显示，内部包含基于CNN的立体匹配算法，深度重建算法，图像对齐算法以及光谱解复用算法。

图3为本发明多光谱光场成像方法的流程框图，本实施例的采集和处理过程包括如下步骤：

使用如图1所示的2*4异构相机阵列系统2获取同一场景的8张不同视角不同波段的光谱复用图像；

所述图像阵列进行对极线校准后，引入基于卷积神经网络的立体匹配算法，对获取的图像对进行两两立体配准，通过最小化匹配代价C得到相机阵列中两两相机之间的视差d：

C_CNN(p,d)＝-s(＜P^L(p),p^R(p-d)＞) (1)

以重建全视场范围内的深度信息

其中f为相机焦距，B为两个相机之间的中心距离。

进一步的，引入所述pixel-based图像对齐算法，同时获取相机阵列中任一视角的任意八张交叉波段光谱，从而实现宽波段光场信息的重建；

最后利用所述光谱解复用算法重建多光谱信息。从候选材料中选取条件数最小的8张滤波片，则所述相机阵列系统的整体光谱灵敏度为：

表示相机第k(k≤3)个通道的响应曲线；表示第m个宽带滤波片的透射曲线。采用标准光谱相机分别测量滤波片阵列在450nm-634nm之间，间隔8nm的24通道单点光谱曲线的满秩矩阵，并结合公式(3)，从而得到光谱传感矩阵：

其中，c_3×(m-1)+k,i表示相机m在第k个色彩通道下第i个窄带通道的光谱灵敏性。

因此对于第m个彩色相机捕获的图像中第k个通道的像素p_m,k，都有：

其中s为任一图像点的光谱信息。其向量形式表示为：

P＝Cs (6)

其中s＝[s₁,s₂,…s_N]^T为所求场景表面的重建多光谱信息，P＝[p₁,p₂,…p_N]^T为相机阵列通过立体配准对齐得到的单像素宽波段信息。

进一步的，引入非负约束和平滑约束，使用投影梯度下降方法，重建相机阵列中任意相机视角的多光谱信息：

s.t.s(i)≥0 for all i (7)

其中，是求导符号，η表示平滑约束权重，根据经验，本实施例中将其设为0.01。

图4显示的是使用标准色板曲线对本发明进行的验证示意图，使用Xrite Macbeth色板的标准光谱曲线作为基准，对本发明的效果进行验证。从所述色板的标准24个色彩块中随机选取6个点(a)、(b)、(c)、(d)、(e)、(f)，以相机阵列中左上视角的相机作为基准图像，采用本发明的方法绘制其光谱曲线(实线)，并与标准曲线(虚线)进行对比，得到了极高的准确度。

需要注意的是，光谱曲线的获取需要去除光源的影响，本发明中不需要单独进行光源信息的提取，只需要将拍摄场景中的白色区域作为光源信息I0，将其他区域点的光谱信息I1/I0，以达到移除光源的效果。除此以外，由于室外场景的深度变化往往远大于室内场景，因此能够获取更高的准确度，本实施例着重介绍和评估室内场景的处理过程。因此本发明的系统可以拍摄室内外不同光源下的场景，不受光源和场地的限制，实现任意场景的图像或视频实时拍摄。

图5为一个实施例中本发明多光谱光场成像方法在室内碘钨灯光照下的光场光谱提取示意图。通过上述方法过程，最终可以分别重建出所述异构相机系统中任意相机视角下24个通道的多光谱图像。所述示意图从24个重建波段中选取578nm和634nm两个光谱通道，利用PointGrey GS3-U3-51S5XC-C相机传感器标准曲线将其渲染成RGB伪彩色图像进行显示。由此可见，利用本发明的异构相机阵列系统及其方法，成功实现了多光谱光场的高精度获取，并且能够通过扩大相机阵列尺寸大小实现高光谱信息的获取。除此之外，该方法克服了传统多光谱光场相机分时探测、使用价格昂贵的微透镜阵列、信息处理引入额外误差等难题，性能优越。

Claims (10)

1.一种多光谱光场成像方法，其特征在于，包括沿光路方向顺次设置的宽带滤波片阵列、异构相机阵列、控制板阵列和信息联合处理装置；其中，宽带滤波片阵列与异构相机阵列相互平行对齐；所述宽带滤波片阵列将场景光线进行滤波生成多个波长上的光谱光线，再分别入射到异构相机阵列中的各个相机；控制板阵列与所述异构相机阵列相连，以进行相机参数配置和同步触发控制，实现多路图像或视频信息同时采集并传输到信息联合处理装置；所述信息联合处理装置将获取的多路图像或视频进行存储或实时处理显示；所述信息联合处理装置的处理方法为：根据两两相机之间姿态不同获取的图像对的视差信息，训练基于孪生网络架构的卷积神经网络，对交叉光谱通道的双目图像对进行立体匹配以获取入射光线的角度信息，得到全视场范围内的光场信息；利用视差算法重建全视场范围内的深度信息；根据相机阵列内外参数，结合立体匹配和图像对齐算法进行相机校准和视场对齐，通过光谱解复用算法得到场景中任一像素点在任一相机视角下共3*M*N波段的多光谱信息，从而获取多光谱光场信息，其中M为异构相机阵列中每行的相机个数，N为异构相机阵列的行数，且M、N均为正整数。

2.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述宽带滤波片阵列由相关性最小，即条件数最小的M*N片共平面不同波段的滤波片构成，各滤波片分别置于异构相机阵列中各相机镜头和传感器中间；所有滤波片的尺寸均相同。

3.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述异构相机阵列由M*N个共平面的彩色或者灰度相机构成，且光轴相互平行。

4.如权利要求1所述的一种多光谱光场成像方法，其特征在于，对所述异构相机阵列进行内外参数配准，使得不同相机视场中的对应点位于同一水平或垂直对极线，以消除系统误差。

5.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述异构相机阵列中的相机同时拍摄，一次性获取M*N张图像或动态视频。

6.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述控制板阵列将多路信息以raw格式或者MPEG2视频流格式传输到信息联合处理装置。

7.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述信息联合处理装置的处理方法中，通过遍历标准立体匹配彩色图像数据集KITTI2015的RGB三通道，获取三倍于原数据的训练集，进行卷积神经网络的参数训练。

8.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述图像对齐算法引入中间图像作为媒介，对于不同行且不同列的图像对，任意位置的对应点都可以通过中间图像进行对齐。

9.如权利要求1所述的一种多光谱光场成像方法，其特征在于，所述光谱解复用算法在目标函数中引入非负约束和平滑约束，使用投影梯度法获取光谱重建最优解：

$\hat{s}=\arg \underset{s}{\min }\left|\right|P-Cs|{|}^2+\mathrm{\η}||\▿s|{|}^2$

s.t.s(i)≥0 forall i

其中，s＝[s₁,s₂,…s_N]^T为所求场景表面的重建多光谱信息，P＝[p₁,p₂,…p_N]^T为异构相机阵列通过立体配准对齐得到的单像素宽波段信息，表示结合相机响应曲线和滤波片传播曲线的光谱传感矩阵，是求导符号，η表示平滑约束权重。

10.如权利要求9所述的一种多光谱光场成像方法，其特征在于，平滑约束权重η的取值为0.01。