CN109413407A - 高空间分辨率光场采集装置与图像生成方法 - Google Patents

Abstract

本发明提供了一种高空间分辨率光场采集装置与图像生成方法，将微透镜阵列放置于主镜头与压缩编码传感器之间，微透镜阵列平行于压缩编码传感器，垂直于主镜头光轴，将压缩编码传感器的光敏面完全覆盖；其中每个微透镜均能够聚焦成像，且不同微透镜的成像区域在压缩编码传感器平面互不重叠；目标场景经过主镜头所呈的实像经由微透镜阵列再次汇聚后被压缩编码传感器所记录。本发明在不降低光场角度分辨率和通光量的同时，获得高空间分辨率光场数据，可以减少光场数据量，缓解存储压力，促进光场视频拍摄以及光场数据的网络存储和传播应用发展。

Description

高空间分辨率光场采集装置与图像生成方法

技术领域

本发明涉及计算机视觉、计算摄像学和光学工程领域，具体涉及一种利用压缩编码传感器与微透镜阵列相结合的光场采集装置和高分辨率光场图像生成方法。

背景技术

光场成像理论的提出为数字成像领域带来了革命性进步。与传统成像仅记录传感器平面光强分布的投影理论模型不同，光场成像模型是通过新颖的光学系统将场景中的光线按照某种给定的关系与传感器像素进行对应。光场采集装置可以同时采集到光线的位置和角度信息，并在此基础上通过数字化处理生成新颖的图像。但与传统成像技术相比，光场成像技术也存在一定的局限性。在传感器像素一定情况下，光场成像技术存在分辨率折衷问题。另外由于光场数据量十分庞大，不利于大规模的存储和网络传输。这已成为限制光场相机及计算摄影术被进一步广泛应用的瓶颈问题。

为了获取高分辨率光场图像，现有的方法主要包括复用方法和计算方法。斯坦福大学设计的128台相机阵列是空间复用方法的体现。麻省理工学院设计的环形孔径相机是时间复用方法实现。频域复用的现有方法存在光场图像信噪比低的缺点，且较少关注光场角度分辨率的提高。复用方法是将光场位置和角度分辨率之间的折衷转换为时间、空间或通光量之间的折衷，但相应的采集方法存在时间分辨率降低、采集设备规模增大或光场图像信噪比低等缺点，很难在应用中实施。计算方法大多需要准确估计内、外参数，或者需要亚像素级的场景几何结构作为先验，这在实际应用中也较难实现。已有的利用编码板调制光线提高分辨率的装置存在降低光通量的问题。这导致采集信号的信噪比低，重建的光场数据质量较差。

因此，在不降低角度分辨率和光通量的前提下，获取高空间分辨率光场成为光场成像领域亟待解决的问题。本发明中提出的高空间分辨率光场采集装置能有效地解决该问题，可以广泛的应用于光场视频拍摄、光场数据压缩传输等领域。

发明内容

为了克服现有技术的不足，本发明提供一种基于随机卷积CMOS传感器和微透镜阵列结合的光场采集装置，能够在不降低角度分辨率和光通量的前提下，利用压缩感知技术采集包含更多位置信息的光场信号，并通过全局优化的重建算法构建高空间分辨率光场数据。

本发明解决其技术问题所采用的技术方案是：一种微透镜阵列和压缩编码传感器结合的光场数据采集装置，包括主透镜、微透镜阵列和压缩编码传感器。

所述的微透镜阵列放置于主镜头与压缩编码传感器之间，微透镜阵列平行于压缩编码传感器，垂直于主镜头光轴，能够将压缩编码传感器的光敏面完全覆盖；其中每个微透镜均能够聚焦成像，且不同微透镜的成像区域在压缩编码传感器平面互不重叠；目标场景经过主镜头所呈的实像经由微透镜阵列再次汇聚后被压缩编码传感器所记录。

所述的微透镜阵列中微透镜的排布采用行列方式包括但不仅限于相邻行微透镜光心对齐的正四边形和隔行微透镜光心对齐的正六边形排布。

所述的微透镜阵列中单个微透镜的艾里斑直径不超过两倍图像传感器像元最短边的长度，单个微透镜的点列图范围不超过其艾里斑直径。

所述的压缩编码传感器采用随机卷积CMOS图像传感器，传感器的物理分辨率为P*Q；利用移位寄存器中存储的伪随机序列控制CMOS上逐像素执行随机卷积计算，然后利用行、列选择逻辑单元实现随机位置采样，得到压缩采样数据；所述的伪随机序列循环周期内的元素个数大于P*Q。

所述的微透镜光心所在平面到主镜头焦平面的矢量距离z>0，压缩编码传感器光敏面到微透镜光心所在平面的距离g大于单个微透镜的焦距f，1/g+1/z＝1/f；本发明的主镜头焦距F、主镜头通光孔径D和微透镜直径d满足D/(F+z+g)＝d/g。

本发明还提供一种基于压缩感知技术重建高空间分辨率光场的方法，包括以下步骤：

1)将主透镜、微透镜阵列和压缩编码传感器的光学尺寸、位置信息在统一成像框架下进行参数化描述，构建基于最小化重投影误差的代价函数，并通过全局优化方法进行求解；

2)角度与位置信息耦合的高分辨率二维光场信号恢复，步骤如下：

2.1)根据成像装置内参的参数化模型，求取每个微透镜成像单元的中心坐标；然后提取经过压缩编码传感器压缩后的观测信号，对压缩图像进行旋转处理，使每行成像单元的中心坐标位于同一行像素上；最后对图像的扭曲形变做几何矫正，使观测信号与测量矩阵的对应关系保持一致；

2.2)提取作用于随机编码的伪随机序列，结合伪随机序列构造压缩感知中的测量矩阵；所述的测量矩阵包括但不仅限于高斯随机矩阵、伯努利矩阵、均匀分布矩阵；

2.3)采用BP方法、BPDN方法或TV方法重建角度与位置信息耦合的超分辨率光场二维信号；

3)依据相机参数化模型计算角度采样数；然后根据二维光场信号中角度信息与位置信息的耦合关系，计算出焦平面处每个微透镜像元提供的空间分辨率大小，并从每个成像单元的相同位置抽取相同大小的像素块进行拼接，合成一个视角下的焦平面成像结果；最后变换单元成像的像素抽取中心，即可合成多个视角下的二维图像，实现四维光场数据构建；

4)利用光场数据采用数字重聚焦方法，生成高空间分辨率的重聚焦图像。

本发明的有益效果是：在不降低光场角度分辨率和通光量的同时，获得高空间分辨率光场数据，可以减少光场数据量，缓解存储压力，促进光场视频拍摄以及光场数据的网络存储和传播应用发展。

附图说明

图1为光场采集装置的光路示意图；

图2为光场采集装置结构图；

图3为微透镜阵列物理参数示意图；

图4为角度采样数的计算示意图，其中，(a)为角度采样数计算原理，(b)为正四边形排布的微透镜阵列成像记录范围，(c)为正六边形排布的微透镜阵列成像记录范围；

图5为成像单元抽取和拼接方式示意图，其中，(a)为成像单元的拼接方法，(b)为正方形排布的抽取方式，(c)为正六边形排布的抽取方式；

图6为高空间分辨率光场数据重建路线。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供一种微透镜阵列和随机卷积CMOS图像传感器结合的光场数据采集装置，包括：主透镜，用于使物方光束折射到相机内部；一个微透镜阵列，用于分离通过主透镜像平面光线的角度与位置信息；一个随机卷积CMOS图像感知传感器，用于采集编码压缩后的光场信号。

本发明采集装置将一块微透镜阵列放置于主镜头与随机卷积CMOS图像传感器之间，微透镜阵列平行于图像传感器，并可将图像传感器的光敏面完全覆盖。

微透镜阵列放置于主镜头后方(靠近像方)，并且与主镜头平面平行，使目标场景经过主镜头所呈的实像可由微透镜阵列再次汇聚后被图像传感器所记录。其中每个微透镜均可聚焦成像，且不同微透镜的成像区域在传感器平面互不重叠。

本发明采集装置中，微透镜阵列中微透镜的排布采用行列方式，包括但不仅限于相邻行微透镜光心对齐的正四边形和隔行微透镜光心对齐的正六边形排布。微透镜阵列的物理参数满足如下条件约束：单个微透镜的艾里斑直径不超过两倍图像传感器像元最短边的长度、单个微透镜的点列图范围不超过其艾里斑直径。

本发明采集系统中，压缩编码传感器生成伪随机序列并将其与传感器像素相乘求和实现信号的压缩感知。具体的，本实施例中采用一种随机卷积图像传感器。本发明的压缩编码传感器包括但不仅限于这一种压缩传感器。传感器的物理分辨率为P*Q(传感器每行每列像素个数分别为P和Q)。首先初始化伪随机序列，其循环周期内的元素个数大于传感器像素数P*Q。然后将伪随机序列压入移位寄存器中，利用移位寄存器控制CMOS上逐像素执行随机卷积计算，然后利用行、列选择逻辑单元实现随机位置采样。最终得到压缩采样数据，其分辨率为M(0<M<P*Q)。结合随机卷积和降采样处理构造的测量矩阵需要满足RIP矩阵性质。光线的角度和位置信息在图像传感器上的排布具有耦合关系，基于随机卷积的压缩降采样处理，不破坏光场角度信息与位置信息的耦合性。

本发明采集系统各器件的排布模式(图1)为：微透镜阵列和随机卷积CMOS图像传感器位于主镜头的成像平面之后，即微透镜阵列、随机卷积CMOS图像传感器平面均垂直于主镜头光轴，并依次沿光轴方向分布。由于每个微透镜均聚焦成像，主镜头成像平面、微透镜阵列、随机卷积CMOS图像传感器三者的距离满足高斯成像公式，且微透镜光心所在平面到主镜头焦平面的矢量距离(物距)z＞0，图像传感器光敏面到微透镜光心所在平面的距离(像距)g与单个微透镜的焦距f之间满足g＞f。本发明的成像器件参数选择应依据式(1-1)的要求。

D/(F+z+g)＝d/g (1-1)

其中，F为主镜头焦距，D为主镜头通光孔径直径，d为微透镜直径。本发明微透镜阵列的参数选择应依据式(1-2)的要求。

1/g+1/z＝1/f (1-2)

本发明还提供一种基于压缩感知技术重建高空间分辨率光场的方法。主要环节包括：采集装置内参数标定，角度与位置信息耦合的高分辨率二维光场信号恢复，高空间分辨率四维光场数据构建，高空间分辨率光场图像重建。所述方法包含以下步骤：

S1、采集装置内参数标定。将成像装置中各部件的光学尺寸、各部件的位置信息在统一成像框架下进行参数化描述，构建基于最小化重投影误差的代价函数，并通过全局优化方法进行求解。

S2、角度与位置信息耦合的高分辨率二维光场信号恢复。结合压缩感知理论，对压缩编码后的低分辨率二维光场信号进行超分辨率重建。包括基于相机参数的原始信号预处理，基于压缩感知理论的测量矩阵构造，基于全局最优方法的超分辨率光场二维信号重建。

S2.1、基于相机参数的原始信号预处理。首先根据成像装置内参的参数化模型，求取每个微透镜成像单元的中心坐标；然后提取经过压缩编码传感器压缩后的观测信号，对压缩图像进行旋转处理，使每行成像单元的中心坐标位于同一行像素上；最后对图像的扭曲形变做几何矫正，使观测信号与测量矩阵的对应关系保持一致。

S2.2、基于压缩感知理论的测量矩阵构造。提取作用于随机编码的伪随机序列，根据图像传感器压缩编码的工作原理，结合伪随机序列构造压缩感知中的测量矩阵。本发明中构造的测量矩阵包括但不仅限于高斯随机矩阵、伯努利矩阵、均匀分布矩阵等适合于硬件实现的压缩感知测量矩阵。

S2.3、角度与位置信息耦合的超分辨率光场二维信号重建。超分辨率光场二维信号的重建可以采用BP(Basis Pursuit)方法、BPDN(Basis Pursuit De-Noising)方法、TV(Total Variation)方法等压缩感知重建算法，根据测量矩阵的设计构造最优的压缩感知重建方法，利用观测信号和测量矩阵重建超分辨率光场二维信号。

S3、高空间分辨率四维光场数据构建。首先依据相机参数化模型计算角度采样数；然后根据二维光场信号中角度信息与位置信息的耦合关系，计算出焦平面处每个微透镜像元提供的空间分辨率大小，并从每个成像单元的相同位置抽取相同大小的像素块进行拼接，合成一个视角下的焦平面成像结果；最后变换单元成像的像素抽取中心，即可合成多个视角下的二维图像，实现四维光场数据构建。

S4、高空间分辨率光场图像重建。利用光场数据采用数字重聚焦方法，生成高空间分辨率的重聚焦图像。

本发明实施例提供的基于压缩编码传感器的高空间分辨率光场采集装置包括三个部分，如图1所示，一只主透镜101，一块微透镜阵列103，本实施例中压缩编码传感器采用一个随机卷积CMOS传感器104(图2)。光路示意图如图1所示，场景光线经过主透镜101折射后聚焦在主透镜像平面102，穿过像平面的光线开始分离，经过微透镜阵列103中的小透镜折射，汇聚在图像传感器104上。

具体的，微透镜阵列102如图3所示，采用正六边形排布，单个微透镜201的直径d为0.3mm，焦距为2.726mm，为平凸透镜。微透镜阵列103将随机卷积图像传感器104光敏面完全覆盖，由水平方向不少于120个、垂直方向不少于92个微透镜以正六边形排布而成。随机卷积CMOS图像传感器104与微透镜阵列的距离g满足公式(1-1)。随机卷积CMOS被动像素传感器是一个标准的P*Q二进制阵列，传感器单像素的有效面积为30μm*30μm。每个像素包含的光电二极管最大电流是200μA。

本发明提出的高空间分辨率光场获取方法，参照图6所示，包括以下步骤：

S1、采集装置内参数标定。本发明将各部件的光学尺寸、位置信息在统一的成像框架下进行参数化描述，结合光场双平面模型，采用满足光场离散采样与连续表达映射关系的内参数标定方法进行标定。标定过程中采集装置变换N个姿态，标定板上可提取n_c个特征。采用最小化误差公式(1-3)求解内参矩阵H、相机姿态T和畸变参数d。

其中||·||^pt-ray为光线的重投影误差，即解码光线与标定板先验点间的误差，为重投影光线，T_n为每个姿态下的相机外参，P_c为标定板的先验点，c取值从1到n_c,n取值从1到N,s取值从1到P,t取值从1到Q。

S2.角度与位置信息耦合的高分辨率二维光场信号恢复。本实施例中采用随机卷积传感器对原始信号做压缩编码；然后利用相机参数对压缩信号进行预处理；最后根据随机卷积传感器的工作原理构造测量矩阵Φ，利用观测信号y和测量矩阵Φ重建超分辨率光场二维信号。

S2.1基于相机参数的原始信号预处理。根据成像装置内参的参数化模型，求取每个微透镜成像单元的中心坐标，对原始信号做几何矫正，使观测信号与测量矩阵的对应关系保持一致。

进一步地，对于求取微透镜成像单元的中心坐标。首先拍摄一张白曝光的图像；然后利用类间方差最大算法，将白曝光图进行二值化处理；最后利用区域生长算法，分割成像单元，求取每个单元的平均中心坐标(公式1-4)。

其中c_i为一个成像单元的中心坐标，(x_i,j,y_i,j)为二值化图中处于一个成像单元中的点，m_c为一个成像单元中像素点个数，j的取值从1到m_c。

进一步地，对于原始信号的几何矫正。首先提取经过压缩编码传感器压缩后的观测信号y；然后提取每个成像单元的中心坐标，利用最小二乘法计算每行单元中心的斜率，取均值；接着对原始数据y进行旋转操作，使每行单元成像的中心坐标基本位于同一行像素上；最后对图像的扭曲切变等形变做几何矫正,并对边缘成像单元做去除渐晕处理。

S2.2基于压缩感知理论的测量矩阵构造。本实施例采用随机卷机传感器对光场信号做压缩编码处理。因此压缩前的信号x∈R^PQ*1，通过随机卷积滤波器a处理后的表达式如公式1-5所示。

其中r(i)∈{1，...,M}，i取值从1到M,j取值从1到P*Q，r(i)取值在区间内随机选择，Φ是由随机卷积滤波器a构成的测量矩阵。在本实施例中，滤波器a取值选取为±1，测量矩阵Φ的形式如下所示。因此测量矩阵是取值为±1的伯努利矩阵，满足RIP矩阵性质，可用于压缩感知的重建。

S2.3、全局最优的超分辨率光场二维信号重建方法。本实施例中采用L1范数结合Total Variation的重建算法。将观测信号y和测量矩阵Φ作为输入，利用公式(1-7)所示的方法重建二维超分辨率的光场信号。其中||·||_TV为梯度算子，ε为噪声误差。

S3、高空间分辨率四维光场数据构建。本实施例根据二维信号中角度与位置信息的耦合关系，通过抽取、拼接成像单元中的像素块，获取一个视角下光场在聚焦面上的二维成像。改变单元成像的像素抽取中心，可获取聚焦面上的多视角图像，从而解码得到四维光场数据。而像素块的大小与角度采样数相关。

进一步地，对于计算角度采样数m。角度采样数m与图像传感器光敏面到微透镜阵列中心的距离g、微透镜阵列中心到主镜头焦平面的距离z有关(图4)，且与|z|/g成正比，则角度采样数m如公式1-7所示。

m＝k×|z|/g (1-8)

其中k与微透镜的排布、间隔、微透镜后方成像区域大小有关。本发明中微透镜阵列采用正六边形排布，因此图4(a)为角度采样数计算原理，图4(b)为正四边形排布的微透镜阵列成像记录范围，图4(c)为正六边形排布的微透镜阵列成像记录范围。其中r为一个微透镜后方成像的半径。

进一步地，对于抽取、拼接成像单元中的像素块。对每幅成像单元，截取距离中心相同距离d/m大小的像素块，按照成像单元的排布方式拼接。图像的拼接和抽取原理如图5所示，(a)为成像单元的拼接方法，(b)为正方形排布的抽取方式，(c)为正六边形排布的抽取方式。

S4、高空间分辨率光场图像重建。利用光场数据结合数字重聚焦方法，生成高空间分辨率的重聚焦图像。然后采用高斯滤波器减轻拼接导致的边缘效应。

进一步地，对于数字重聚焦方法。根据场景的聚焦深度，计算聚焦点与微透镜阵列之间的距离z。结合公式(1-7)计算出抽取像素块的大小。采用S3中抽取、拼接成像单元中的像素块的方法，合成渲染平面处的成像结果。

进一步地，对于高斯滤波处理。为减轻拼接产生的边缘效应，利用一个[d/m]×[d/m]大小、均值为6的高斯滤波器对整幅图像进行二维卷积处理，抑制拼接带来的不平滑效果。

Claims (6)

1.一种高空间分辨率光场采集装置，包括主透镜、微透镜阵列和压缩编码传感器，其特征在于：所述的微透镜阵列放置于主镜头与压缩编码传感器之间，微透镜阵列平行于压缩编码传感器，垂直于主镜头光轴，能够将压缩编码传感器的光敏面完全覆盖；其中每个微透镜均能够聚焦成像，且不同微透镜的成像区域在压缩编码传感器平面互不重叠；目标场景经过主镜头所呈的实像经由微透镜阵列再次汇聚后被压缩编码传感器所记录。

2.根据权利要求1所述的高空间分辨率光场采集装置，其特征在于：所述的微透镜阵列中微透镜的排布采用行列方式包括但不仅限于相邻行微透镜光心对齐的正四边形和隔行微透镜光心对齐的正六边形排布。

3.根据权利要求1所述的高空间分辨率光场采集装置，其特征在于：所述的微透镜阵列中单个微透镜的艾里斑直径不超过两倍图像传感器像元最短边的长度，单个微透镜的点列图范围不超过其艾里斑直径。

4.根据权利要求1所述的高空间分辨率光场采集装置，其特征在于：所述的压缩编码传感器采用随机卷积CMOS图像传感器，传感器的物理分辨率为P*Q；利用移位寄存器中存储的伪随机序列控制CMOS上逐像素执行随机卷积计算，然后利用行、列选择逻辑单元实现随机位置采样，得到压缩采样数据；所述的伪随机序列循环周期内的元素个数大于P*Q。

5.根据权利要求1所述的高空间分辨率光场采集装置，其特征在于：所述的微透镜光心所在平面到主镜头焦平面的矢量距离z>0，压缩编码传感器光敏面到微透镜光心所在平面的距离g大于单个微透镜的焦距f，1/g+1/z＝1/f；本发明的主镜头焦距F、主镜头通光孔径D和微透镜直径d满足D/(F+z+g)＝d/g。

6.一种权利要求1所述高空间分辨率光场采集装置的图像生成方法，其特征在于包括下述步骤：

1)将主透镜、微透镜阵列和压缩编码传感器的光学尺寸、位置信息在统一成像框架下进行参数化描述，构建基于最小化重投影误差的代价函数，并通过全局优化方法进行求解；

2)角度与位置信息耦合的高分辨率二维光场信号恢复，步骤如下：

2.1)根据成像装置内参的参数化模型，求取每个微透镜成像单元的中心坐标；然后提取经过压缩编码传感器压缩后的观测信号，对压缩图像进行旋转处理，使每行成像单元的中心坐标位于同一行像素上；最后对图像的扭曲形变做几何矫正，使观测信号与测量矩阵的对应关系保持一致；

2.2)提取作用于随机编码的伪随机序列，结合伪随机序列构造压缩感知中的测量矩阵；所述的测量矩阵包括但不仅限于高斯随机矩阵、伯努利矩阵、均匀分布矩阵；

2.3)采用BP方法、BPDN方法或TV方法重建角度与位置信息耦合的超分辨率光场二维信号；

3)依据相机参数化模型计算角度采样数；然后根据二维光场信号中角度信息与位置信息的耦合关系，计算出焦平面处每个微透镜像元提供的空间分辨率大小，并从每个成像单元的相同位置抽取相同大小的像素块进行拼接，合成一个视角下的焦平面成像结果；最后变换单元成像的像素抽取中心，即可合成多个视角下的二维图像，实现四维光场数据构建；

4)利用光场数据采用数字重聚焦方法，生成高空间分辨率的重聚焦图像。