CN105681650A - 一种光场相机消色差方法 - Google Patents

Abstract

一种校正光场相机内的数字图像中的横向色差的方法，包括利用带彩色传感器的光场相机获取场景的光场信息，并将二维RGB三通道彩色图片存储于存储设备中；由二维彩色图片分离三个颜色通道；选择其中一个颜色通道作为参考通道，对剩余的两个颜色通道的四维光场数据进行数字重聚焦处理；将经过数字重聚焦操作的三个颜色通道重新合成彩色图像，得到色差校正后的彩色图像。本发明无需对图像进行检测，具有速度快，成本低的优点。

Description

一种光场相机消色差方法

技术领域

本发明涉及一种在光场相机中进行色差校正的方法，利用光场相机采集到的光场信息，通过数字重聚焦方法校正镜头的色差。

背景技术

在光学系统中，由于折射介质的折射率都随着波长的改变而改变，在最终的成像中将会存在色差，即不同颜色聚焦在离开透镜的不同距离处的现象。在具体图像中的表现为柔和的整体图像以及在黑色和白色之间的边缘处的彩色边纹。

色差分为横向色差(TCA)和轴向色差(ACA)。轴向色差是指透镜无法将不同颜色聚焦到相同的焦平面上。而横向色差是由斜入射光导致的，指的是侧向位移的焦点。

目前的消色差的技术方案主要有以下两种：

1、在硬件上解决色差问题。通过使用不同折射率的透镜，组合成一个复杂的光学系统，也即消色差透镜。不同材料的正负色散特性的差异，弥补单透镜带来的色差。但是这种光学系统设计复杂且成本高，在增加透镜数目的同时也带来了新的成像缺陷。

2、软件解决方案。该方案是基于数字图像处理的方法解决成像系统的色差问题。通过计算机分析采集到的数字图像，采用合适的算法分析寻找出图像中存在彩色边纹的位置(感兴趣的区域)，而后计算出红色(R)和蓝色(B)通道的校正值。从而校正了图像存在彩色边纹的位置的色差。但是这种方法要求对图像进行检测，寻找感兴趣的区域(ROI)，速度慢，检测精度依赖于算法，且只能校正彩色边纹。

光场相机是一种新型的成像设备，其在传统成像系统中的探测器前加装微透镜阵列，利用微透镜阵列记录三维场景的成像技术。与传统相机的二维图像采集方式不同，光场相机通过单次曝光可以记录下三维场景的空间和角度信息也即四维光场信息。光场相机支持“先拍照后对焦”通过对拍摄后的图像进行数字重聚焦可以得到不同焦面的图像。图2显示的是光场相机的模型示意图。

光场相机的四维光场信息一般使用双平面的表达方式(参见LevoyM,HanrahanP.Lightfieldrendering[C]//Proceedingsofthe23rdannualconferenceonComputergraphicsandinteractivetechniques.ACM,1996:31-42.)。光场相机的数字重聚焦技术主要的方法有空域的数字重聚焦算法和傅里叶切片算法(参见NgR.Digitallightfieldphotography[D].stanforduniversity,2006.)。目前并没有针对光场相机色差校正的方法。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于光场相机的数字图像处理方法，用于校正用光场相机捕获的数字图像的横向色差。

本发明解决其技术问题所采用的技术方案是：结合光场相机的相关参数：包括像感器的尺寸、像素的尺寸、颜色滤波片阵列的排布方式、谱型谱宽；所采用的摄影镜头的参数：包括焦距、光圈大小；所采用微透镜阵列的参数：微透镜的个数，单个微透镜的焦距、光圈大小；利用光场相机采集到的场景的光场信息，对红色R通道和蓝色B通道进行数字重聚焦处理，而后再与未经数字重聚焦处理的绿色G通道合成彩色图像。从而使得RGB三通道波长的光聚焦在同一个位置，最终校正镜头的色差。

利用上述基于光场相机校正数字图像的横向色差的方法，包括如下步骤：

步骤1：确定光场相机相关参数。

确定所使用光场相机的彩色传感器的参数：包括像感器的尺寸、像素的尺寸、颜色滤波片阵列的排布方式、谱型谱宽；所采用的摄影镜头的参数：包括焦距、光圈大小；所采用微透镜阵列的参数：微透镜的个数，单个微透镜的焦距、光圈大小；

步骤2：标定微透镜的中心坐标，使用光场相机对一个白色场景进行拍摄。利用渐晕原理可以标定每个微透镜覆盖的像素区域以及微透镜在像传感器上的中心坐标。如论文(参见ComputerVisionandPatternRecognition(CVPR),2013IEEEConferenceon.IEEE,2013:1027-1034.)所描述方法一致。

步骤3：利用带彩色传感器(如彩色CCD和CMOS)且经过标定的光场相机获取场景的光场信息。

将三维场景置于光场相机的视场范围内，利用成像系统，由彩色传感器拍摄三维场景的彩色光场信息。将图像存储于存储设备之中，采用的方式是传统的RGB三通道的彩色图片存储方式。

步骤4：由二维彩色图片分离颜色通道，选择颜色通道进行数字重聚焦操作。

数字重聚焦操作中包括了从二维图像中提取四维光场信息，计算并确定数字重聚焦系数，数字重聚焦插值等操作。

其中从二维图像中提取四维光场信息包括如下步骤：

1、从彩色图像中分离出RGB三个颜色通道。

2、分别对三个颜色通道进行四维光场信息提取，根据前面步骤2中所述的微透镜覆盖像素区域和中心坐标，从每个微透镜所覆盖的像素区域提取出对应的像素组成各个视角的子孔径图像。

在本专利中，我们采用双平面的表达形式描述四维光场信息，使用空域的数字重聚焦算法。

确定数字重聚焦系数：数字重聚焦系数公式其中α是待操作的颜色通道的数字重聚焦系数，d表示场景距离物镜的距离也即物距，f₀是参考颜色通道对应的光的焦距，f₁是待数字重聚焦颜色通道的焦距。根据公式我们可以计算得到各个颜色通道的数字重聚焦系数。

数字重聚焦插值方法利用的是双线性插值。

步骤5：将经过数字重聚焦操作的三个颜色通道重新合成彩色图像，得到色差校正后的彩色图像。

与现有技术相比，本发明的有益效果是无需对图像进行检测，具有速度快，成本低的优点。

附图说明

图1是色差现象的简图；

图2是光场相机的模型；

图3是使用仿真软件仿真得到的传感器采集到的图像；

图4是本发明光场相机消色差方法的流程图；

图5是本发明光场相机消色差方法的效果图。

具体实施方式

下面结合附图和实施例对本专利作进一步的说明，但不应以此限定本专利的保护范围。

本发明用于校正一种新型数字图像捕获设备内的数字图像中的横向色差。本发明被描述为校正红色分量和蓝色分量之间的色差。实际上，本发明也可以被用于校正其它颜色分量之间的色差。

数字图像捕获设备即光场相机，采集到的数字图像中包含着被拍摄场景的空间和角度信息。利用该信息可以对图像进行数字重聚焦处理，从而获得场景不同焦面的数字图像。

采集到的数字图像可以分为红色、绿色、蓝色三个通道的分量。选取其中一个颜色通道作为参考通道，其余的为重聚焦通道。以绿色通道为参考通道为例：分别对红色分量和蓝色分量做数字重聚焦处理，以绿色分量为重聚焦平面，将数字重聚焦后得到的红色和蓝色通道与绿色通道合并成新的彩色图像。此时我们认为光场相机中的色差得到了校正。

图1是色差现象的简图，简单介绍了色差产生的原因。图中显示的是由于同一材料不同波段的光折射率的不同，白光入射后，红绿蓝三个波段的光聚焦在离透镜距离不同的位置上，这就是横向色差。也是本专利中需要校正的色差形式。

图2是光场相机的模型，为了方便说明，将照相物镜简化为一个单透镜。通过放置于彩色传感器(如彩色CCD和CMOS)前方的微透镜阵列采集到拍摄场景的空间和角度信息也即四维光场信息。

图3是使用仿真软件仿真得到的传感器采集到的图像。

图4是本发明光场相机消色差的流程图，包括如下实现步骤：

步骤1：利用带彩色传感器(如彩色CCD和CMOS)的光场相机获取场景的光场信息；

将三维场景置于光场相机的视场范围内，利用成像系统，由彩色传感器拍摄三维场景的彩色光场信息。将图像存储于存储设备之中，采用的方式是传统的RGB三通道的彩色图片存储方式。

步骤2：由二维彩色图片分离颜色通道，选择颜色通道进行数字重聚焦操作；

数字重聚焦操作中包括了从二维图像中提取四维光场信息，计算并确定重聚焦系数，数字重聚焦插值等操作。

步骤3：将经过数字重聚焦操作的三个颜色通道重新合成彩色图像，得到色差校正后的彩色图像。

下面通过计算机模拟实施例，进一步说明光场相机中的重聚焦消色差的方法以及数字重聚焦操作的具体实施过程。

首先确定计算机模拟实施例的各项参数，我们在仿真软件中仿真了一个简单的光场相机模型，其参数如下：

主镜焦距为100mm，单个微透镜焦距为500um，总个数为299x299，主镜和微透镜的F数应该匹配，都为4。微透镜放置于物体的像面。仿真波长为红光(656nm)、绿光(587nm)、蓝光(486nm)。传感器尺寸大小为32.76x32.76mm，采样数量为4096x4096，采样间隔为8um，放置于微透镜的后焦面上。给定初始场景信息为一张二维图片，放置于主镜之前200mm处。使用光学仿真软件ZEMAX对光线进行追迹，得到仿真的光场图像如图3示。

然后根据以下步骤来说明步骤2中所述的数字重聚焦操作。

1)先使用一张纯白的图像使用以上光场相机模型成像对相机进行标定。利用渐晕原理可以标定每个微透镜覆盖的像素区域以及微透镜在像传感器上的中心坐标。如论文(参见ComputerVisionandPatternRecognition(CVPR),2013IEEEConferenceon.IEEE,2013:1027-1034.)所描述方法一致。

2)从彩色图像中分离出RGB三个颜色通道。该方法为该领域技术人员所公知。

3)分别对三个颜色通道进行四维光场信息提取，根据第一步中所述的微透镜覆盖像素区域和中心坐标，从每个微透镜所覆盖的像素区域提取出对应的像素组成各个视角的子孔径图像。

4)确定数字重聚焦系数。数字重聚焦系数公式其中α是待操作的颜色通道的数字重聚焦系数，d表示场景距离物镜的距离也即物距，f₀是参考颜色通道对应的光的焦距，f₁是待数字重聚焦颜色通道的焦距。根据公式我们可以计算得到各个颜色通道的数字重聚焦系数。

5)进行数字重聚焦处理，主要方法有空域上的数字重聚焦方法和傅里叶切片法。在本实施例中，我们采用了基于双线性插值的空域数字重聚焦方法以保证图像最后的质量。

6)重新组合三个颜色通道，得到色差校正的彩色图像。

以上即是本专利计算机模拟的一个实施例。模拟的效果如图5示，可以看到图像的色差得到了相应的校正，紫边现象得到校正。

Claims (5)

1.一种校正光场相机内的数字图像中的横向色差的方法，其特征在于，该方法包括以下步骤：

步骤1：利用带彩色传感器的光场相机获取场景的光场信息，并将二维RGB三通道彩色图片存储于存储设备中；

步骤2：由二维彩色图片分离三个颜色通道；

步骤3：选择其中一个颜色通道作为参考通道，对剩余的两个颜色通道的四维光场数据进行数字重聚焦处理；

步骤4：将经过数字重聚焦操作的三个颜色通道重新合成彩色图像，得到色差校正后的彩色图像。

2.根据权利要求1所述的校正光场相机内的数字图像中的横向色差的方法，其特征在于，所述的步骤3具体包括如下步骤：

3.1用一张纯白的图像使用以上光场相机模型成像对相机进行标定，利用渐晕原理标定每个微透镜覆盖的像素区域以及微透镜在像传感器上的中心坐标；

3.2分别对三个颜色通道进行四维光场信息提取，根据微透镜覆盖像素区域和中心坐标，从每个微透镜所覆盖的像素区域提取出对应的像素组成各个视角的子孔径图像；

3.3确定各个颜色通道的数字重聚焦系数，公式如下：

$\mathrm{\α}=\frac{f_1(d-f_0)}{f_0(d-f_1)},$

其中α是待操作的颜色通道的数字重聚焦系数，d表示场景距离物镜的距离也即物距，f₀是参考颜色通道对应的光的焦距，f₁是待数字重聚焦颜色通道的焦距；

3.4进行数字重聚焦处理。

3.根据权利要求2所述的校正光场相机内的数字图像中的横向色差的方法，其特征在于，所述的步骤3.4具体采用基于双线性插值的空域数字重聚焦方法。

4.根据权利要求1所述的校正光场相机内的数字图像中的横向色差的方法，其特征在于，所述的步骤3中选择绿色通道作为参考通道。

5.根据权利要求2所述的校正光场相机内的数字图像中的横向色差的方法，其特征在于，所述的步骤3.1中根据所使用彩色传感器的参数：包括像感器的尺寸、像素的尺寸、颜色滤波片阵列的排布方式、谱型谱宽；所采用的光场相机的摄影镜头的参数：包括焦距、光圈大小；所采用光场相机的微透镜阵列的参数：微透镜的个数，单个微透镜的焦距、光圈大小利用渐晕原理进行标定。