CN108696692A - 光场成像的数据预处理方法 - Google Patents

Abstract

本发明提出的光场成像的数据预处理方法，属于光场成像技术领域，包括以下步骤：步骤1，原始光场数据解码；步骤2，获取白图像；步骤3，白图像处理，处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数；步骤4，获取四维光场矩阵和子光圈图像阵列，利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列，最终得到标准四维光场矩阵。本申请完成了从Lytro Illum光场相机中提取和解码光场数据，并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程，为光场成像技术的研究和应用奠定了基础。

Description

光场成像的数据预处理方法

技术领域

本发明属于光场成像技术领域，尤其是光场成像的数据预处理方法。

背景技术

光场相机结构包括一个主镜头、一个微透镜阵列和一个图像探测器，加入微透镜阵列后图像探测器上的像素点不再是光场的积分，而是四维光场的重采样，因此光场相机能够通过一次成像获取比传统相机更多的光信息，可以利用计算成像的方法得到不同方向、位置、景深处的图像以满足不同的需求。目前，市面上消费级的Lytro相机系列中的Lytro Illum光场相机因其较好的外观设计和较高的成像质量广受消费者的喜爱，目前已有对Lytro Illum相机获取四维光场信息进行研究，但是还比较简洁，尚属起步阶段。

发明内容

本发明提供的光场成像的数据预处理方法，为光场成像技术的研究和应用奠定了基础。

本发明具体采用如下技术方案实现：

光场成像的数据预处理方法，包括以下步骤：

步骤1，原始光场数据解码，把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程；

步骤2，获取白图像，每次处理不同场景下的光场图像数据时，需先处理与该场景相同环境条件下的白图像，以解算出最终的标准光场图像矩阵；

步骤3，白图像处理，处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数；

步骤4，获取四维光场矩阵和子光圈图像阵列，利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列，最终得到标准四维光场矩阵LF(t,s,v,u)。

作为优选，所述步骤3的白图像处理包括以下步骤：

步骤31)确定峰值点，对白图像先进行圆形滤波处理，然后找局部最大值，最大值点即为峰值点；

步骤32)确定每行峰值点的偏移角度；

步骤33)确定每行每列峰值点的偏移量；

步骤34)确定最终的整幅图像的宏像素以及微透镜中心坐标。

作为优选，所述步骤32)包括：

步骤321)三角网格化处理，即对峰值点进行三角网处理，网格交点即代表峰值点，然后采用近邻取样法确定相邻的峰值点；

步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合，确定每行每列峰值点的偏移角度。

作为优选，所述步骤4包括：

步骤41)去渐晕效应，先调整图像的灰度范围，即根据原始数据文件中的参数可知，原始光场图像的灰度范围为64～1023，将其映射到0～1之间，然后去渐晕处理；

步骤42)去马赛克，利用MATLAB中的demosaic函数；

步骤43)图像旋转、缩放、平移，让宏像素中水平径向和垂直径向的元素为奇数，以确保中心点位置为整数值；

步骤44)重排光场矩阵，其处理过程为：首先建立一个标准四维光场空矩阵，第一维代表每个宏像素中心的横坐标，第二维代表每个宏像素中心的纵坐标，第三维代表宏像素中元素的横坐标，第四维代表宏像素中元素的纵坐标；其次利用四维绘图函数生成四维网格空矩阵，分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标；获取原三维彩色光场图像坐标的索引值；最后把四维光场空矩阵的下标转换为索引值，把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素，获取LF(t,s,v,u)类型的矩阵，t,s为不同宏像素中心的坐标值，v,u为每个宏像素的元素坐标值；

步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值，分别对(v,u)和(t,s)维度进行一维插值，其中，对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列，对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构；

步骤46)根据步骤45)的处理结果，即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。

本发明提供的光场成像的数据预处理方法，其有益效果在于，完成了从LytroIllum光场相机中提取和解码光场数据，并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程，为光场成像技术的研究和应用奠定了基础。

附图说明

图1是本发明光场数据预处理流程图；

图2是光场数据存储格式示意图；

图3是白图像处理流程图；

图4是三角网格图；

图5是确定峰值点偏移角度原理图；

图6是确定微透镜中心点的白图像；

图7是子光圈图像提取流程图；

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

目前，市面上消费级的Lytro相机系列中的Lytro Illum光场相机因其较好的外观设计和较高的成像质量广受消费者的喜爱，本实施例利用相机获取四维光场信息，然后对光场数据进行预处理，具体流程如图1所示，包括以下步骤：

步骤1，原始光场数据解码。把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程，由于原始光场图像数据中每10bit一个像素，原始光场数据的存放格式如图2所示，第一行为5个字节的十六进制数，第二行为对应的二进制数，反演为光场图像时每5个字节进行一次处理，其中，第5个字节共8bit，均分成4部分，每部分2bit。第1部分的2bit分给第1个字节，第2部分给第2个字节，第3部分给第3个字节，第4部分给第4个字节。

步骤2，获取白图像。在光照均匀曝光适中的条件下，对亮度均匀的白色平面所成的图像，即为白图像。每次处理不同场景下的光场图像数据时，需先处理与该场景相同环境条件下的白图像，以解算出最终的标准光场图像矩阵，首先选择白图像来处理的目的是减少背景因素对最终解算标准光场图像矩阵数据造成的干扰，而Lytro Illum相机内部自带的白图像。

步骤3，白图像处理。处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数，处理流程如图3所示，包括以下步骤：

步骤31)，确定峰值点的方法为：对白图像先进行圆形滤波处理，然后找局部最大值，最大值点即为峰值点；

步骤32)，由于每行每列像素中的峰值点不在一条直线上，因此会有偏移角度，确定峰值点偏移角度的目的一方面是更加精确地确定每行每列宏像素在水平和垂直径向上所含的元素的个数，另一方面是为下一步数据处理做准备。具体步骤为：

步骤321)，三角网格化处理，即对峰值点进行Delaunay三角网处理，如图4所示，网格交点即代表峰值点，然后采用近邻取样法确定相邻的峰值点；

步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合，确定每行每列峰值点的偏移角度，如图5中的a，b。峰值点代表宏像素的中心点位置，相邻峰值点距离与偏移角度的商即为宏像素在水平径向和垂直径向所含元素的个数；

步骤33)，由于经过步骤2)计算得到的宏像素的中心点所在的位置不一定是整数像素点位置，而理论上峰值点所在的位置应该是整数像素点位置，因此为了使每个峰值点即宏像素中心点落在整数像素位置，每个宏像素中心点会有一个偏移量，然后对每一行每一列中每个偏移量求均值，就可得到各行各列的偏移值；

步骤34)，根据步骤31)——33)处理的结果，确定每行每列宏像素的个数，为下一步处理做准备，标定好中心位置的白图像如图6所示。白图像处理过程结束后，处理不同场景下的光场图像；

步骤4，获取四维光场矩阵和子光圈图像阵列，利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列，最终得到标准四维光场矩阵LF(t,s,v,u)，其中，t,s代表宏像素中心点的坐标，v,u代表宏像素中元素的坐标，由步骤3知光场图像的宏像素个数为625×434，子光圈图像的分辨率为625×434，因此，LF(t,s,v,u)代表子光圈图像阵列，t＝1:625，s＝1:434,处理流程如图7所示，包括以下步骤：

步骤41)去渐晕效应，方法为：先调整图像的灰度范围，即根据原始数据文件中的参数可知，原始光场图像的灰度范围为64～1023，将其映射到0～1之间，然后去渐晕处理；

步骤42)去马赛克，目的是灰度图像转换为彩色图像并消除马赛克网格效应的影响，去马赛克处理可以利用MATLAB中的demosaic函数；

步骤43)图像旋转、缩放、平移，目的是让宏像素中水平径向和垂直径向的元素为奇数，以确保中心点位置为整数值；

步骤44)重排光场矩阵，其处理过程为：首先建立一个标准四维光场空矩阵，第一维代表每个宏像素中心的横坐标，第二维代表每个宏像素中心的纵坐标，第三维代表宏像素中元素的横坐标，第四维代表宏像素中元素的纵坐标；其次利用四维绘图函数生成四维网格空矩阵，分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标；获取原三维彩色光场图像坐标的索引值；最后把四维光场空矩阵的下标转换为索引值，把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素，获取LF(t,s,v,u)类型的矩阵，t,s为不同宏像素中心的坐标值，v,u为每个宏像素的元素坐标值；

步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值，分别对(v,u)和(t,s)维度进行一维插值。其中，对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列，对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构；

步骤46)根据步骤45)的处理结果，即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。

本申请全面系统地介绍了基于微透镜型光场成像系统的光场数据处理方法，完成了从Lytro Illum光场相机中提取和解码光场数据，并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程，为光场成像技术的研究和应用奠定了基础。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.光场成像的数据预处理方法，其特征在于，包括以下步骤：

步骤1，原始光场数据解码，把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程；

步骤2，获取白图像，每次处理不同场景下的光场图像数据时，需先处理与该场景相同环境条件下的白图像，以解算出最终的标准光场图像矩阵；

步骤3，白图像处理，处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数；

步骤4，获取四维光场矩阵和子光圈图像阵列，利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列，最终得到标准四维光场矩阵LF(t,s,v,u)。

2.根据权利要求1所述的光场成像的数据预处理方法，其特征在于：所述步骤3的白图像处理包括以下步骤：

步骤31)确定峰值点，对白图像先进行圆形滤波处理，然后找局部最大值，最大值点即为峰值点；

步骤32)确定每行峰值点的偏移角度；

步骤33)确定每行每列峰值点的偏移量；

步骤34)确定最终的整幅图像的宏像素以及微透镜中心坐标。

3.根据权利要求2所述的光场成像的数据预处理方法，其特征在于：所述步骤32)包括：

步骤321)三角网格化处理，即对峰值点进行三角网处理，网格交点即代表峰值点，然后采用近邻取样法确定相邻的峰值点；

步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合，确定每行每列峰值点的偏移角度。

4.根据权利要求1所述的光场成像的数据预处理方法，其特征在于：所述步骤4包括：

步骤41)去渐晕效应，先调整图像的灰度范围，即根据原始数据文件中的参数可知，原始光场图像的灰度范围为64～1023，将其映射到0～1之间，然后去渐晕处理；

步骤42)去马赛克，利用MATLAB中的demosaic函数；

步骤43)图像旋转、缩放、平移，让宏像素中水平径向和垂直径向的元素为奇数，以确保中心点位置为整数值；

步骤44)重排光场矩阵，其处理过程为：首先建立一个标准四维光场空矩阵，第一维代表每个宏像素中心的横坐标，第二维代表每个宏像素中心的纵坐标，第三维代表宏像素中元素的横坐标，第四维代表宏像素中元素的纵坐标；其次利用四维绘图函数生成四维网格空矩阵，分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标；获取原三维彩色光场图像坐标的索引值；最后把四维光场空矩阵的下标转换为索引值，把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素，获取LF(t,s,v,u)类型的矩阵，t,s为不同宏像素中心的坐标值，v,u为每个宏像素的元素坐标值；

步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值，分别对(v,u)和(t,s)维度进行一维插值，其中，对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列，对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构；

步骤46)根据步骤45)的处理结果，即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。