CN107135388A - 一种光场图像的深度提取方法 - Google Patents

Abstract

本发明公开了一种光场图像的深度提取方法。本发明的方法包括两个阶段：光场重构和深度提取，所述光场重构阶段包括：S1：将输入的光场数据进行预处理后根据该图像的图像中心位置重构出光场，生成多视点图像；所述深度提取阶段包括：S2：对视点图像提取极平面图，计算视差图，优化得到最优深度图。本发明能够对光场数据处理后获得清晰多视点图像并进行精确深度提取。

Description

一种光场图像的深度提取方法

技术领域：

本发明涉及一种光场图像的深度提取方法，属于图像处理和计算机视觉技术领域。

背景技术：

1991年，Adelson等首次提出了全光函数的概念，用7个维度进行描述，分别为观察点的空间位置(Vx,Vy,Vz)、光线的俯仰角和方位角(θ,φ)波长l观察记录光线的时刻t，表示为L＝P(Vx,Vz,θ,φ,l,t)。1992年，Adelson成功将光场理论应用与计算机视觉，并提出了全光场理。1996年，Levoy的光场渲染理论及Steven等的流明图进一步地完善了光场理论。Leovy等人给出的4D光场L(u，v，s，t)的光场表示方式，其意义为自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。随着光场成像发展，其作为一种成像与计算相结合的新兴三维成像技术，拥有低成本的硬件设备、比较简单的光学成像系统、丰富的图像数据以及多样的数据后期处理方式等优点，成为了很多国内外机构和研究人员的研究热点。他们在遮挡物的显现、物体的分层与分割、景物的重聚焦、物体的三维模型重构和三维流场测速等方面取得了重要的成果，其中主要技术在于光场的重构表现及深度的精确提取。

由于光场图像的设备硬件条件限制以及各光学设备参数之间的关系，使得相邻子图像之间的基线异常狭窄，视差范围也在几个像素范围内，即使使用目前最优的立体匹配算法也不能得到满意效果，需要针对光场特性进行研究，寻找适用于光场图像的深度提取方法。

发明内容

本发明的目的是提供一种光场图像的深度提取方法，能够对光场数据处理获得清晰多视点图像并进行精确深度提取。

上述的目的通过以下技术方案实现：

一种光场图像的深度提取方法，该方法包括两个阶段：光场重构和深度提取，

所述光场重构阶段包括：

S1：将输入的光场数据进行预处理后根据该图像的图像中心位置重构出光场，生成多视点图像；

所述深度提取阶段包括：

S2：对视点图像提取极平面图，计算视差图，优化得到最优深度图。

所述的光场图像的深度提取方法，所述的光场重构的方法包括如下步骤：

S11：对光场图像的子图像中心位置进行标定；

S12：对输入的光场数据进行解码、优化和规则化处理；

S13：重构出光场，获得多视点图像。

所述的光场图像的深度提取方法，步骤S11中所述对光场图像的子图像中心位置进行标定的方法具体包括如下步骤：获取不同对焦及变焦情况下的多曝光白图像，其图像中对应的子图像中心各不相同，通过峰值检测处理可以得到该对焦、变焦和曝光程度下对应子图像中心的位置，对同一对焦和变焦下的不同曝光图像，图像中心取其位置计算的均值。由此，建立对焦、变焦和图像中心位置对应表。对于输入的光场图像，获取其拍摄时的变焦、对焦参数后，选择与表中参数最接近的白图像的中心位置来标定该光场图像。

所述的光场图像的深度提取方法，步骤S12中所述对输入的光场数据进行解码、优化和规则化处理的方法具体包括如下步骤：

S121：将图像进行解码、优化：将光场相机采集到的原始数据进行解码得到对应的彩色图像，初步解码后的图像会存在灰度值偏低以及由于渐晕效应造成的图像边缘像素过暗问题，分别使用γ过滤和函数逼近法将图像进行优化；

S122：图像的规则化：将子图像从六边形规则化为正方形图像，使用六边形-正交格点的转换来校正六边形子图像组成的原始图像，得到规则化图像。

所述的光场图像的深度提取方法，步骤S13中所述重构出光场，获得多视点图像的具体方法是：根据针孔成像模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的关系及转化方式，结合光场空间的成像方程，使用优化后的图像重构出光场，根据输入的视点位置，固定该位置的平面参数，将范围内的光线进行积分得到对应的视点图像。

所述的光场图像的深度提取方法，所述的深度提取的方法包括如下步骤：

S21：将多视点图像抽取出极平面图；

S22：利用分梯度方法得到最优视差点集和视差图；

S23：视差图融合、优化得到精确深度图。

所述的光场图像的深度提取方法，步骤S21中所述的将多视点图像抽取出极平面图的具体方法是：选定一个视点对应的图像作为深度提取的参考图像，使用与该视点同一水平及竖直方向的其他视点图像，将多视点图像在水平及垂直方向上抽取极平面图。

所述的光场图像的深度提取方法，步骤S22中所述的利用分梯度方法得到最优视差点集和视差图的具体方法是：将需要深度计算的像素点作为参考点，利用分梯度方法计算该点视差范围内所有可能像素点的像素值，并计算出所有像素点与参考点的匹配代价，通过代价对比获得最优梯度，该梯度下的像素点作为最优视差点集，计算均值作为该点的最优视差。

所述的光场图像的深度提取方法，步骤S23中所述的视差图融合、优化得到精确深度图的具体方法是：将两个方向得到的视差图在马尔科夫随机场内进行融合，对于图像中的每一点，其视差计算的代价值越小，在两个图像的融合中对应的权重越大，然后对融合后的图像进行中值滤波得到平滑深度图。

有益效果：

本发明有别于光场图像软件自动加载和重聚焦显示，每一步都可以通过人工调节光场数据操作的每一步及其中参数，生成清晰的多视点图像，并通过多视点图像可以得到场景的精确深度图。

附图说明

图1是本发明的流程框架图。

具体实施方式

下面结合具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供了一种对于光场图像的深度提取方法。本发明包括两个阶段：光场重构和深度提取。所述重构阶段如下步骤：首先计算相机多种拍摄情况得到的参数和图像标定表，然后对输入的光场数据进行解码、优化及规则化处理，最后根据光场成像方程重构出光场，获得多视点图像。所述深度提取阶段包括：将多视点图像抽取出视点对应的极平面图，利用分梯度方法得到最优视差点集和视差图，通过视差图融合、优化得到精确深度图。

下面通过具体实施例对本发明做进一步阐述：

1)对光场原始数据进行预处理进行光场重构，得到多视点图像：

1.1)对不同对焦和变焦拍摄条件下的白图像根据峰值检测算法得到该参数下每个子图像对应的图像中心，由此进行多次计算，得到对焦、变焦和图像中心对应表。在对光场输入数据解析时，根据对焦与变焦参数，以对焦参数优先方式进行匹配，选取最优白图像对应的图像中心作为该光场图像的图像中心。

1.2)对相机拍摄的原始图像使用线性插值来进行Bayer解码，相机中数据使用‘gbbr’的Bayer模式从左到右从上到下排列，对于每个像素点，利用公式(1)取其周围的点的均值来得到该点像素，最后得到彩色图。

其中，(m,n)包含于{(0,1),(0,1),(1,0),(1,0)}，g代表G通道的颜色值，其他通道使用方法一致。

1.3)然而，Bayer解码后的图像仍然存在整体偏暗现象，本专利使用公式(2)所示γ校正将较暗图像恢复到最适合人眼观测的正常亮度，其中γ为2.2，L_res、L_org对应输出图像与输入图像。

1.4)对渐晕效应导致的图像边缘失真，采用(3)对应的线性逼近法将各像素的补偿因子进行表示并进行抗渐晕优化。

f(i，j)＝cosh(r_x(x-x₀))×cosh(r_y(y-y₀))+c (3)

对于m*n的图像，其中i＝1,2,...,m；j＝1,2,...,n；r_x和r_y表示沿图像x和y轴的衰减率；(x₀,y₀)表示图像中心，(x,y)是归一化后的像素坐标，c为常偏移量。

1.5)由于图像中的每个子图像都为高填充率的正六边形，所得的正六边形图像需要进行规则化转变，本发明对原始图像进行六边形-正交格点的转换来进行校正，根据公式(4)进行四次修正迭代转化，

M₁M₂M₃＝R^-1 (4)

M₁M₂M₃为三次迭代每次对应的矩阵，R^-1为六边形的初始矩阵。

1.6)使用处理后的图像进行光场重构，根据针孔成像模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的关系及转化方式，结合光场空间的成像方程(5)重构出光场，根据输入的视点位置，固定该位置的平面参数，将范围内的光线进行积分得到对应的视点图像，遍历其中的成像平面，得到相机对应的所有视点图像。

其中，F是成像平面(s,t)与透镜平面(u,v)的距离，E_F(s,t)是光线在成像平面(s,t)辐照度，L_F是以间距为F的两平行平面进行参数化的光场，θ是光线(u,v,s,t)与成像平面的夹角，cos⁴θ是光线衰弱因子。

2)对多视点图像进行深度提取：

2.1)选定一个视点对应的图像作为深度提取的参考图像，使用与该视点同一水平及竖直方向的其他视点图像，将多视点图像在水平及垂直方向上抽取极平面图，对于N*N的多视点图像，本提取只需要参考视点图像所在行及列的视点图像，所需图像仅为2*N-1。

水平方向的极平面提取中，每一行像素作为一块，根据视点位置从左到右进行顺序提取并排列，得到子图像高度H个极平面图像块。竖直方向同理抽取。

2.2)把极平面块中需要深度计算的像素点作为参考像素点，将图像视差范围进行等梯度划分，在每个梯度下计算出视差范围内每个新像素点及其相邻水平像素点的信息，两点之间利用公式(6)来线性插值得到新像素的值。

通过公式(7)对应的代价函数计算该点与参考像素点的差值，选取其中代价最小值点得到最优梯度及该梯度下的最优视差点集。

G＝∑(x_0(i)-x_n(i))² (7)

其中，x₀，x_n分别为参考像素点和插值像素点，i为颜色通道，将由最优视差点集得到的视差取均值，可以分别得到水平方向和垂直方向的视差图。

2.3)将两个方向得到的视差图在马尔科夫场中融合。对于每个像素对应的最优梯度匹配代价，其代价值越小，权重越大，对于代价分别为α和β的像素点，融合时代价为α的像素点的视差融合权重计算方式为(8)。

将两个视差图像根据权重进行加权融合，最后对融合图像进行中值滤波得到平滑深度图。中值滤波公式如(9)。

g(x，y)＝median{f(x-i，y-j)} (i，j)∈W (9)

g(x,y)和f(x-i,y-j)分别为输入和输出图像的灰度值，W为模板窗口，可以取方形、圆形、十字形等。

应当指出，上述实施实例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，这里无需也无法对所有的实施方式予以穷举。本实施例中未明确的各组成部分均可用现有技术加以实现。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种光场图像的深度提取方法，其特征在于，该方法包括两个阶段：光场重构和深度提取，

所述光场重构阶段包括：

S1：将输入的光场数据进行预处理后根据该图像的图像中心位置重构出光场，生成多视点图像；

所述深度提取阶段包括：

S2：对视点图像提取极平面图，计算视差图，优化得到最优深度图。

2.根据权利要求1所述的光场图像的深度提取方法，其特征在于，所述的光场重构的方法包括如下步骤：

S11：对光场图像的子图像中心位置进行标定；

S12：对输入的光场数据进行解码、优化和规则化处理；

S13：重构出光场，获得多视点图像。

3.根据权利要求2所述的光场图像的深度提取方法，其特征在于，步骤S11中所述对光场图像的子图像中心位置进行标定的方法具体包括如下步骤：获取不同对焦及变焦情况下的多曝光白图像，其图像中对应的子图像中心各不相同，通过峰值检测处理可以得到该对焦、变焦和曝光程度下对应子图像中心的位置，对同一对焦和变焦下的不同曝光图像，图像中心取其位置计算的均值。由此，建立对焦、变焦和图像中心位置对应表。对于输入的光场图像，获取其拍摄时的变焦、对焦参数后，选择与表中参数最接近的白图像的中心位置来标定该光场图像。

4.根据权利要求2所述的光场图像的深度提取方法，其特征在于，步骤S12中所述对输入的光场数据进行解码、优化和规则化处理的方法具体包括如下步骤：

S121：将图像进行解码、优化：将光场相机采集到的原始数据进行解码得到对应的彩色图像，初步解码后的图像会存在灰度值偏低以及由于渐晕效应造成的图像边缘像素过暗问题，分别使用γ过滤和函数逼近法将图像进行优化；

S122：图像的规则化：将子图像从六边形规则化为正方形图像，使用六边形-正交格点的转换来校正六边形子图像组成的原始图像，得到规则化图像。

5.根据权利要求2所述的光场图像的深度提取方法，步骤S13中所述重构出光场，获得多视点图像的具体方法是：根据针孔成像模型中世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的关系及转化方式，结合光场空间的成像方程，使用优化后的图像重构出光场，根据输入的视点位置，固定该位置的平面参数，将范围内的光线进行积分得到对应的视点图像。

6.根据权利要求1所述的光场图像的深度提取方法，其特征在于，所述的深度提取的方法包括如下步骤：

S21：将多视点图像抽取出极平面图；

S22：利用分梯度方法得到最优视差点集和视差图；

S23：视差图融合、优化得到精确深度图。

7.根据权利要求6所述的光场图像的深度提取方法，其特征在于，步骤S21中所述的将多视点图像抽取出极平面图的具体方法是：选定一个视点对应的图像作为深度提取的参考图像，使用与该视点同一水平及竖直方向的其他视点图像，将多视点图像在水平及垂直方向上抽取极平面图。

8.根据权利要求6所述的光场图像的深度提取方法，其特征在于，步骤S22中所述的利用分梯度方法得到最优视差点集和视差图的具体方法是：将需要深度计算的像素点作为参考点，利用分梯度方法计算该点视差范围内所有可能像素点的像素值，并计算出所有像素点与参考点的匹配代价，通过代价对比获得最优梯度，该梯度下的像素点作为最优视差点集，计算均值作为该点的最优视差。

9.根据权利要求6所述的光场图像的深度提取方法，其特征在于，步骤S23中所述的视差图融合、优化得到精确深度图的具体方法是：将两个方向得到的视差图在马尔科夫随机场内进行融合，对于图像中的每一点，其视差计算的代价值越小，在两个图像的融合中对应的权重越大，然后对融合后的图像进行中值滤波得到平滑深度图。