CN108305233A - 一种针对微透镜阵列误差的光场图像校正方法 - Google Patents

Abstract

一种针对微透镜阵列误差的光场图像校正方法，涉及针对微透镜阵列误差的光场图像校正技术，为了解决现有整体校正方法对于微透镜阵列面形误差所引起图像畸变的校正存在计算量过大、校准不当的问题。采用光场相机对白色匀光板成像，获取光场原始白图像；将光场原始白图像初步划分为若干微透镜区域，确定误差子图像的大小；检测各误差子图像的边缘轮廓，提取边缘特征点的坐标；确定所有误差子图像的几何误差矩阵；将各误差子图像的几何误差矩阵进行矩阵变换，求解相应的误差子图像的校正矩阵，得到光场图像校正矩阵；利用光场图像校正矩阵对待校正图像的像素点进行坐标变换，得到校正后的光场图像。本发明适用于校正光场图像。

Description

一种针对微透镜阵列误差的光场图像校正方法

技术领域

本发明涉及图像处理领域，具体涉及针对微透镜阵列误差的光场图像校正技术。

背景技术

光场相机可通过单次曝光获取并显示目标场景的四维光场分布，即空间中光辐射的二维空间信息和二维方向信息。与传统成像设备不同，光场相机在主镜头和图像传感器之间的成像面处放置一个微透镜阵列，每个微透镜单元对应传感器上的像素区域记录来自同一位置不同方向的光线，从而得到完整的光场数据；结合相应的数据处理算法可实现数字重聚焦、深度估计、多视角成像、三维场景重建等多种功能。光场相机扩大了成像孔径与景深范围，提高了成像系统的可靠性，正逐渐应用于航空航天、工业检测、目标识别等领域。

光场相机拍摄的原始图像是由各个微透镜单元所成的子图像按序排列的二维光场图像，其上记录的光场数据是实现四维光场解析的基础。但由于微透镜阵列的面形精度及装配偏差，实际光场图像的空间分辨率将会降低，子图像的亮度、清晰度和光斑位置等特征发生变化，导致后续重建无法完成。为消除微透镜阵列误差对光场图像的影响，需要对光场图像进行校正，从而减小光场信息的损耗与偏差。

目前，通常采用整体法校正微透镜阵列误差引起的图像畸变，即通过校准微透镜阵列的方位参数来对整个光场图像进行修正。这类方法能够识别和量化微透镜阵列的配准误差，并在一定程度上解决了由此引起的射线投影误差。但上述方法实现的前提是微透镜单元不存在个体偏差，而由于不同的制造工艺、加工材料及阵列复杂结构，实际微透镜单元存在不同程度的局部面形误差，导致相应子图像发生畸变并引起光场图像的局部降质。采用整体法校正局部降质的图像会出现计算量过大、校正效果不明显或者过度校正的问题。因此，整体校正方法无法满足光场图像局部降质和信息混淆的校正需要。

发明内容

本发明的目的是为了解决现有整体校正方法对于微透镜阵列面形误差所引起图像畸变的校正存在计算量过大、校准不当的问题，从而提供一种针对微透镜阵列误差的光场图像校正方法。

本发明所述的一种针对微透镜阵列误差的光场图像校正方法，该方法包括以下步骤：

步骤一、采用光场相机对白色匀光板成像，获取光场原始白图像I；

步骤二、将光场原始白图像I初步划分为若干微透镜区域，一个微透镜区域对应一个误差子图像，在每个微透镜区域内搜索相应误差子图像的中心点坐标，并确定所述误差子图像的大小；

步骤三、检测各误差子图像的边缘轮廓，并提取边缘特征点的坐标；

步骤四、建立误差子图像的几何误差矩阵，并根据各误差子图像的标记点以及相应标准子图像的参考点，依次确定所有误差子图像的几何误差矩阵，误差子图像的标记点即中心点和边缘特征点；

步骤五、将各误差子图像的几何误差矩阵进行矩阵变换，求解相应的误差子图像的校正矩阵，并由各误差子图像的校正矩阵组成光场图像校正矩阵；

步骤六、利用光场图像校正矩阵对待校正图像的像素点进行坐标变换，得到校正后的光场图像。

优选的是，步骤一具体为：

将白色匀光板固定在光场相机镜头前方，保证白色匀光板平面与光场相机的光轴相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰，对白色匀光板平面光源进行拍摄，得到光场原始白图像I。

优选的是，步骤二具体为：

将光场原始白图像I的像素灰度值分别按行列加和，得到m个行像素灰度值总和S_row(x)及n个列像素灰度值总和S_col(y)，光场原始白图像I的分辨率为m×n，m为行数，n为列数；分别设定行像素灰度值总和的阈值、列像素灰度值总和的阈值Th_row和Th_col，筛选出微透镜单元的分界行列，完成微透镜区域的初步划分；

然后对各微透镜区域内的行列像素灰度值总和进行局部搜索，选取灰度值总和最大的行列作为该误差子图像的中心点c_i,j，并记录误差子图像中心点坐标c_i,j(x₁,y₁)，根据各误差子图像的中心点坐标及误差子图像覆盖像素个数l×l，将光场原始白图像I划分为p×q个误差子图像；其中，x＝1、2、…、m，y＝1、2、…、n，i＝1、2、…、p，j＝1、2、…、q，p＝m/l，q＝n/l。

优选的是，步骤三中，检测各误差子图像的边缘轮廓的方法具体为：

采用改进的Sobel算子，对各误差子图像的像素点(x,y)进行卷积计算：

G_0°＝|f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]|

G_45°＝|f(x+1,y)+2f(x+1,y-1)+f(x,y-1)-[f(x-1,y)+2f(x-1,y+1)+f(x,y+1)]|

G_90°＝|f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]|

G_135°＝|f(x,y+1)+2f(x+1,y+1)+f(x+1,y)-[f(x,y-1)+2f(x-1,y-1)+f(x-1,y)]|

其中，G_0°、G_45°、G_90°和G_135°分别为以水平方向为基准的0°、45°、90°、135°方向的卷积结果，f(x,y)为像素点(x,y)的像素灰度值；

则像素点(x,y)的梯度幅值为：

设定阈值Th_G，对误差子图像中各像素点的梯度幅值进行检测，若像素点(x,y)的梯度幅值满足则判定该像素点为误差子图像的边缘点，由误差子图像的边缘点围合成的轮廓即为误差子图像的边缘轮廓。

优选的是，步骤三中提取边缘特征点的坐标的方法具体为：

提取误差子图像中心点c_i,j的上、下、左、右4个方向上的边缘点作为该误差子图像的边缘特征点，分别记为和并记录其位置坐标 和

优选的是，步骤四中，采用第i行、j列的误差子图像的5个标记点即：c_i,j、 和以及相应标准子图像的参考点，确定误差子图像的几何误差矩阵。

优选的是，步骤四中，所建立的误差子图像的几何误差矩阵满足如下关系：

其中，(x_i,j,y_i,j)为标记点在第i行、j列的误差子图像中的位置坐标，(u_i,j,v_i,j)为标记点在相应标准子图像中的位置坐标，为第i行、j列的误差子图像的旋转矩阵，为第i行、j列的误差子图像的平移矩阵。

优选的是，步骤五中，将步骤四中误差子图像的几何误差矩阵满足的关系变换为：

则几何误差矩阵写成如下方阵形式：

对所述方阵求逆得到第i行、j列的误差子图像的校正矩阵C_i,j：

依次求解所有误差子图像的校正矩阵，组成光场图像校正矩阵C，即：

本发明的有益效果为：

本发明利用光场相机的光场原始白图像，通过提取图像中各误差子图像的标记点的位置坐标并结合相应参考点坐标，确定各误差子图像的几何误差矩阵，本发明能够针对每个误差子图像的偏差情况进行有效校正，具有操作简单、计算量小、校正速度快的特点。本方法提高了光场图像的质量，显著降低了光场信息的损耗与偏差，解决了现有整体校正方法存在的计算量过大、校准不当(偏大或偏小)的问题。此外，本方法具备普适性，适用于各种光场相机或光场成像模型获取的光场图像校正，通过初始求解的光场图像校正矩阵就可实现不同目标场景图像的快速校正，为后续的光场数据处理提供基础。

附图说明

图1是本发明的一种针对微透镜阵列误差的光场图像校正方法的基本流程图；

图2为光场原始白图像；

图3为误差子图像边缘轮廓的示意图；

图4为误差子图像标记点的示意图；

图5为待校正的光场及相应重聚焦图像，(a)为光场图像，(b)为重聚焦图像；

图6为校正后的光场及相应重聚焦图像，(a)为光场图像，(b)为重聚焦图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

图1为本实施方式提供的一种针对微透镜阵列误差的光场图像校正方法的基本流程图。如图1所示，该方法包括以下步骤：

步骤一：采用光场相机对白色匀光板成像，获取光场原始白图像I；

采用白色匀光板作为均匀面光源，将其固定在光场相机镜头前方，保证白色匀光板平面与相机光轴间相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰，对白色匀光板平面光源进行拍摄，获取如图2所示的光场原始白图像I，光场原始白图像I的分辨率为m×n。

步骤二：将光场原始白图像I初步划分为若干微透镜区域，一个微透镜区域对应一个误差子图像，在每个微透镜区域内搜索相应误差子图像的中心点坐标，并确定所述误差子图像的大小；

将光场原始白图像I的像素灰度值分别按行列加和，得到m个行像素灰度值总和S_row(x)及n个列像素灰度值总和S_col(y)；分别设定行、列像素灰度值总和的阈值Th_row和Th_col，筛选出微透镜单元的分界行列，完成微透镜区域的初步划分。在此基础上，对各微透镜区域内的行列像素灰度值总和进行局部搜索，选取灰度值总和最大的行列作为该误差子图像的中心点c_i,j，并记录误差子图像中心点坐标c_i,j(x₁,y₁)。根据各误差子图像的中心点坐标及误差子图像覆盖像素个数l×l，将白图像I划分为p×q个误差子图像。其中，其中，x＝1、2、…、m，y＝1、2、…、n；i＝1、2、…、p，j＝1、2、…、q，并且p＝m/l，q＝n/l。

步骤三：检测各误差子图像的边缘轮廓，并提取边缘特征点的坐标；

光场图像中各误差子图像的光斑近似为圆形，其边缘具有许多方向，而现有的Sobel算子仅包含水平和竖直两方向的模板。为了提高误差子图像边缘检测的精确度，采用改进的Sobel算子，增加45°和135°方向的模板，对各误差子图像的像素点进行卷积计算：

G_0°＝|f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]| (1)

G_45°＝|f(x+1,y)+2f(x+1,y-1)+f(x,y-1)-[f(x-1,y)+2f(x-1,y+1)+f(x,y+1)]| (2)

G_90°＝|f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]| (3)

G_135°＝|f(x,y+1)+2f(x+1,y+1)+f(x+1,y)-[f(x,y-1)+2f(x-1,y-1)+f(x-1,y)]| (4)

其中，G_0°、G_45°、G_90°和G_135°分别为以水平方向为基准的0°、45°、90°、135°方向的卷积结果，f(x,y)为像素点(x,y)的像素灰度值；

则像素点(x,y)的梯度幅值为：

选取适当的阈值Th_G，对误差子图像中各像素点的梯度幅值进行检测，若像素点(x,y)的梯度幅值满足：则可判定该像素点为误差子图像的边缘点。各误差子图像的边缘轮廓如图3所示。

在此基础上，提取误差子图像中心点c_i,j的上、下、左、右4个方向上的边缘点作为该误差子图像的边缘特征点，记为和并记录其位置坐标 和各误差子图像所提取的标记点如图4所示，其中，误差子图像中心点处黑色像素点为步骤二标定的误差子图像中心点，误差子图像边缘的4个白色像素点为误差子图像的边缘特征点。

步骤四：建立误差子图像的几何误差矩阵，并根据各误差子图像的标记点以及相应标准子图像的参考点，依次确定所有标记点子图像的几何误差矩阵；

虽然微透镜单元的面形误差形式和量值各不相同，但根据光场相机的几何成像原理和误差仿真结果，所成误差子图像一般表现为光斑的平移、旋转及缩放三种形式或者上述任意几种形式的叠加。因此，采用几何误差矩阵来建立误差子图像中标记点与相应标准子图像的参考点之间的对应关系。设标记点在第i行、j列误差子图像中的位置坐标为(x_i,j,y_i,j)，在相应标准子图像中的位置坐标为(u_i,j,v_i,j)，对于二维平面，其几何误差矩阵满足如下关系：

其中，为第i行、j列的误差子图像的旋转矩阵，表示光斑的旋转和缩放；为第i行、j列的误差子图像的平移矩阵，表示光斑的平移。

由几何误差矩阵可知，理论上只要需要提取3个标记点和相应理想点的坐标即可计算得到该误差子图像的几何误差矩阵，为提高几何误差矩阵的精度并考虑到运算量和处理速度，本实施方式采用5个标记点求解第i行、j列的误差子图像的几何误差矩阵，分别为：步骤二中得到的误差子图像中心点c_i,j(x₁,y₁)以及步骤三中提取的特征点 和

依次根据每个子图像i,j的5个特征提取点：c_i,j、和求解相应的旋转矩阵R_i,j和平移矩阵T_i,j，最终可得到p×q个旋转矩阵和平移矩阵。

步骤五：将各误差子图像的几何误差矩阵进行矩阵变换，求解相应的误差子图像校正矩阵，并组成光场图像校正矩阵；

步骤四中，第i行、j列的误差子图像的几何误差矩阵(6)满足的关系可写成如下形式：

对于误差子图像中某一像素来说，其位置坐标(x_i,j,y_i,j)对应到在标准子图像中的位置坐标应为(u_i,j,v_i,j)，故只需对几何误差矩阵求逆就可实现误差子图像的校正，即：

其中，为第i行、j列的误差子图像的校正矩阵；(x′_i,j,y′_i,j)为误差子图像中某一像素的位置坐标，(u′_i,j,v′_i,j)为校正后该像素的位置坐标。

利用步骤四得到的各误差子图像的几何误差矩阵参数，求解相应的校正矩阵，并组成光场图像校正矩阵C，即：

步骤六：利用光场图像校正矩阵对待校正图像的像素点进行坐标变换，得到校正后的光场图像。

使用步骤五计算得到的光场图像校正矩阵对待校正光场图像中各子图像的像素点进行相应的坐标变换，从而实现对光场图像的校正。

利用本发明提供的一种针对微透镜阵列误差的光场图像校正方法对如图5(a)所示的光场图像进行校正测试。在图像校正之前，由于微透镜阵列存在面形误差导致该光场图像的光斑位置及间距发生变化，所成重聚焦图像(b)出现严重的失真变形和混叠现象。采用本发明的校正方法对该光场图像的原始光场白图像按照步骤二至步骤五进行操作，得到光场图像校正矩阵，并按照步骤六校正该光场图像。图6(a)所示为校正后的光场图像，可以看出校正后的光场图像的光斑位置及间距得到了较好的修正，所成重聚焦图像(b)较为清晰，图像失真情况得到了明显的改善。同时，未经校正的光场图像的图像质量评价指标PSNR(峰值信噪比)值为18.245，其重聚焦图像的PSNR值为20.347；校正后的光场图像的PSNR值为31.856，相应重聚焦图像的PSNR值为34.561；校正前后的PSNR值提高了74.6％，明显优于校正前的图像质量。该结果表明，本发明的校正方法能够有效消除微透镜阵列的面形误差对光场图像的影响，满足了光场成像和光场数据采集的要求。

Claims (8)

1.一种针对微透镜阵列误差的光场图像校正方法，其特征在于，该方法包括以下步骤：

步骤一、采用光场相机对白色匀光板成像，获取光场原始白图像I；

步骤二、将光场原始白图像I初步划分为若干微透镜区域，一个微透镜区域对应一个误差子图像，在每个微透镜区域内搜索相应误差子图像的中心点坐标，并确定所述误差子图像的大小；

步骤三、检测各误差子图像的边缘轮廓，并提取边缘特征点的坐标；

步骤四、建立误差子图像的几何误差矩阵，并根据各误差子图像的标记点以及相应标准子图像的参考点，依次确定所有误差子图像的几何误差矩阵，误差子图像的标记点即中心点和边缘特征点；

步骤五、将各误差子图像的几何误差矩阵进行矩阵变换，求解相应的误差子图像的校正矩阵，并由各误差子图像的校正矩阵组成光场图像校正矩阵；

步骤六、利用光场图像校正矩阵对待校正图像的像素点进行坐标变换，得到校正后的光场图像。

2.根据权利要求1所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤一具体为：

将白色匀光板固定在光场相机镜头前方，保证白色匀光板平面与光场相机的光轴相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰，对白色匀光板平面光源进行拍摄，得到光场原始白图像I。

3.根据权利要求1所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤二具体为：

将光场原始白图像I的像素灰度值分别按行列加和，得到m个行像素灰度值总和S_row(x)及n个列像素灰度值总和S_col(y)，光场原始白图像I的分辨率为m×n，m为行数，n为列数；分别设定行像素灰度值总和的阈值、列像素灰度值总和的阈值Th_row和Th_col，筛选出微透镜单元的分界行列，完成微透镜区域的初步划分；

然后对各微透镜区域内的行列像素灰度值总和进行局部搜索，选取灰度值总和最大的行列作为该误差子图像的中心点c_i,j，并记录误差子图像中心点坐标c_i,j(x₁,y₁)，根据各误差子图像的中心点坐标及误差子图像覆盖像素个数l×l，将光场原始白图像I划分为p×q个误差子图像；其中，x＝1、2、…、m，y＝1、2、…、n，i＝1、2、…、p，j＝1、2、…、q，p＝m/l，q＝n/l。

4.根据权利要求1所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤三中，检测各误差子图像的边缘轮廓的方法具体为：

对各误差子图像的像素点(x,y)进行卷积计算：

G_0°＝|f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)-[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]|

G_45°＝|f(x+1,y)+2f(x+1,y-1)+f(x,y-1)-[f(x-1,y)+2f(x-1,y+1)+f(x,y+1)]|

G_90°＝|f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)-[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]|

G_135°＝|f(x,y+1)+2f(x+1,y+1)+f(x+1,y)-[f(x,y-1)+2f(x-1,y-1)+f(x-1,y)]|

其中，G_0°、G_45°、G_90°和G_135°分别为以水平方向为基准的0°、45°、90°、135°方向的卷积结果，f(x,y)为像素点(x,y)的像素灰度值；

则像素点(x,y)的梯度幅值为：

设定阈值Th_G，对误差子图像中各像素点的梯度幅值进行检测，若像素点(x,y)的梯度幅值满足则判定该像素点为误差子图像的边缘点，由误差子图像的边缘点围合成的轮廓即为误差子图像的边缘轮廓。

5.根据权利要求4所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤三中提取边缘特征点的坐标的方法具体为：

提取误差子图像中心点c_i,j的上、下、左、右4个方向上的边缘点作为该误差子图像的边缘特征点，分别记为和并记录其位置坐标 和

6.根据权利要求5所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤四中，采用第i行、j列的误差子图像的5个标记点即：c_i,j、和以及相应标准子图像的参考点，确定误差子图像的几何误差矩阵。

7.根据权利要求1所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤四中，所建立的误差子图像的几何误差矩阵满足如下关系：

其中，(x_i,j,y_i,j)为标记点在第i行、j列的误差子图像中的位置坐标，(u_i,j,v_i,j)为标记点在相应标准子图像中的位置坐标，为第i行、j列的误差子图像的旋转矩阵，为第i行、j列的误差子图像的平移矩阵。

8.根据权利要求7所述的一种针对微透镜阵列误差的光场图像校正方法，其特征在于，步骤五中，将步骤四中误差子图像的几何误差矩阵满足的关系变换为：

则几何误差矩阵写成如下方阵形式：

对所述方阵求逆得到第i行、j列的误差子图像的校正矩阵C_i,j：

依次求解所有误差子图像的校正矩阵，组成光场图像校正矩阵C，即：