CN108921781A - 一种基于深度的光场拼接方法 - Google Patents

Abstract

本发明公开了一种基于深度的光场拼接方法，包括：输入待拼接的光场以及该光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，并根据光场中每个网格的最优单应性变换矩阵映射光场对光场进行融合，得到光场拼接结果。本发明解决了较大视差变化造成结果错位和重影的问题，实现了精确的视差容忍的光场拼接方法。

Description

一种基于深度的光场拼接方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于深度的光场拼接方法。

背景技术

光场成像通过在主透镜和传感器中间加入一个微透镜阵列，记录了来自各个方向的光线信息，从而得到完整信息的光辐射场。随着光学传感器的分辨率持续上升和光场相机逐步市场化，光场成像技术的实用价值变得越来越高。相比于传统的数码相机，基于微透镜阵列的光场相机由于可以同时记录三维场景的空间位置信息和方向信息，因此基于该光场相机采集到的光场数据有着广泛的应用，如重聚焦、深度估计、显著性检验等等。然而由于光学结构的限制，手持式全光相机的视场角较小。不依赖于光场结构设置的光场拼接方法可以提高光场相机的视场角。

现有的光场拼接方法主要是通过特征提取和匹配的方法，计算相邻输入光场间的变换矩阵，进行光场配准，通过构造配准后光场重叠区域的能量损失函数来寻找光场的最优缝合线，实现光场融合；这种方法存在一定的局限性，虽然其可以实现视差较小的光场拼接，一旦输入光场数据视差变化较大，将会产生错位，重影等错误，无法得到正确的拼接结果。

另外一种方法是利用结合视差容忍的图像拼接方法来减小视差对拼接结果带来的影响，这种方式在一定程度上提高了拼接的精确度，但是不能完全抵消视差带来的影响，且单独对光场相应子孔径图像进行图像拼接会引入整个光场在空间域和角度域不一致的问题。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为了解决上述技术问题，本发明提出一种基于深度的光场拼接方法，解决了较大视差变化造成结果错位和重影的问题，实现了精确的视差容忍的光场拼接方法。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于深度的光场拼接方法，包括以下步骤：

A1：输入待拼接的光场以及该光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；

A2：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；

A3：将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，并根据光场中每个网格的最优单应性变换矩阵映射光场；

A4：对光场进行融合，得到光场拼接结果。

进一步地，步骤A2具体包括：

A21：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对；

A22：对所述深度图进行特征聚类得到光场的深度层次图；

A23：根据深度层次图对特征点对进行分组，分别对各组的特征点对进行筛选，合并筛选后的特征点对得到匹配特征点对。

进一步地，步骤A3中具体包括：

A31：将待拼接的光场进行4D网格化；

A32：判断4D网格化后的每一个网格中是否包含不同深度层，如果是，则按深度层再次分割网络；否则直接进入步骤A33；

A33：根据匹配特征点对预测全局单应性变换矩阵；

A34：根据特征点与网格点中心的深度和位置关系建立权值矩阵；

A35：根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵；

A36：根据光场中每个网格的最优单应性变换矩阵映射光场。

与现有技术相比，本发明的有益效果在于：本发明的基于深度的光场拼接方法采用每个网格的最优单应性变换矩阵替代全局单应性变换矩阵来对光场进行映射，显著提升了光场配准过程中的灵活度，实现细节部分更精确的光场拼接；而且其中的每个网格的最优单应性变换矩阵是通过结合全局单应性变换矩阵以及引入了深度图而建立的权值矩阵来进行预测的，解决了较大视差变化造成结果错位和重影的问题，实现了精确的视差容忍的光场拼接方法；从而进一步实现更精准的大视差光场拼接，且保证了拼接光场空间域和角度域一致性，从而扩大光场的视角。

在进一步的方案中，通过对深度图进行特征聚类得到深度层次图，并根据该深度层次图来指导特征点对进行分组，再对各组的特征点对分别进行筛选，避免了由于视差导致的特征点对的误删除，从而保证能够得到足够且有效的匹配特征点对，为后续预测全局单应性变换矩阵以及每个网格的最优单应性变换矩阵打下良好基础，更进一步提高光场配准过程中的准确性。

附图说明

图1是本发明优选实施例的基于深度的光场拼接方法的流程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例公开了一种基于深度的光场拼接方法，包括以下步骤：

A1：输入待拼接的光场以及光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；

具体地，输入待拼接的光场，进行解码和预处理得到光场的子孔径图像；并对光场的子孔径图像使用光场深度估计得到光场的深度图。

在本实施例中，以两个光场的拼接为例，L_r(x,y,u,v)为参考光场，L_w(x,y,u,v)为待拼接光场，多个光场的拼接可以使用相同的方法扩展。对输入的光场数据进行解码和预处理，得到光场的子孔径图像方法如下：

S_r(u₀,v₀)＝{L_r(x,y,u,v)|u＝u₀,v＝v₀}

S_w(u₀,v₀)＝{L_w(x,y,u,v)|u＝u₀,v＝v₀}

其中S_r(u₀,v₀)和S_w(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像。

在本实施例中，使用光场深度估计方法得到光场的深度图像为D(x,y)。

A2：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；

具体地，步骤A2包括以下步骤：

A21：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对；

本实施例中，使用SIFT特征提取方法提取光场的子孔径图像中的特征点，并对特征点进行匹配，得到粗匹配的特征点对，即：

其中，S_r(u₀,v₀)和S_w(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像，Ω_F为SIFT提取的特征点对组成的集合。

A22：对所述深度图进行特征聚类得到光场的深度层次图；

在本实施例中，通过使用特征聚类的方法对深度图进行分层，保留主要的深度层，舍弃小的深度变化，从而可以避免深度估计算法得到的深度图的细节部分可能存在不准确的区域而对光场拼接造成的影响。

本实施例中，使用k-means特征聚类的方法得到光场的深度层次图D_l的方法如下：

其中S_i为像素所在的第i深度层，通过聚类的方法生成：

其中D(x,y)是使用光场深度估计方法得到的深度图，μ_i是聚类中心，K是聚类个数(对应于深度层次图里面的深度层数)，D_l(x,y)是得到的深度层次图。

A23：根据深度层次图对特征点对进行分组，再分别对各组的特征点对进行筛选，合并筛选后的特征点对得到匹配特征点对。

在本实施例中，基于深度层次图的指导下对粗匹配的特征点对进行筛选，主要步骤为：根据深度度层次图D_l(x,y)对特征点对进行分组，然后分别对每一组的特征点对使用连续一致抽样检测(RANSAC)算法进行筛选，剔除离群点，最后合并每一组筛选后的特征点对，得到最终有效的匹配特征点对，即：

其中，P是一对待筛选的特征点，S_i为像素所在的第i深度层，K是聚类个数，Ω_F为SIFT提取的特征点对组成的集合，Ω_r为筛选过后的特征点对组成的集合。

A3：将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，根据光场中每个网格的最优单应性变换矩阵映射光场；

具体地，步骤A3包括以下步骤：

A31：将待拼接的光场进行4D网格化；

在本实施例中，将输入光场分割成规则的四维立体网格，提升光场配准过程中的自由度。

A32：判断4D网格化后的每一个网格中是否包含不同深度层，如果是，则按深度层再次分割网络；否则直接进入步骤A33；

A33：根据匹配特征点对预测全局单应性变换矩阵；

在本实施例中，预测的5维光场全局单应性变换矩阵Η的计算公式为：

P'＝HP

其中P(u,v,x,y,1)和P'(u',v',x',y',1)是通过步骤A2所得到的匹配特征点对；

也即Η的计算公式为：

A34：根据特征点与每个网格的网格点中心的深度和位置关系建立权值矩阵；

在本实施例中，权值矩阵w_i为：

其中α、β是比例系数，η∈[0,1]是权值矩阵w_i的最小阈值，(x*,y*)是网格中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D_l是步骤A2中的深度层次图。

在其他一些实施例中，上述权值矩阵的w_i公式中的D_l也可以采用步骤A1中的深度图D来进行计算，也即权值矩阵w_i为：

其中α、β是比例系数，η∈[0,1]是权值矩阵w_i的最小阈值，(x*,y*)是网格中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D是步骤A1中的光场的深度图。

A35：根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵；

在本实施例中，通过基于深度的光场运动模型预测每个网格的最优单应性变换矩阵方法如下：

其中w_i是权值矩阵，与特征点和网格所在的深度及位置有关；Η是5维光场全局单应性变换矩阵；矩阵A∈R^4N×25可以通过矩阵变换得到；

在本实施例中，矩阵A∈R^4N×25由矩阵变换得到：

0_4×1＝A×Η

即：

其中A∈R^4N×25有四个线性独立的行向量，因此最少需要六对匹配的特征点，为了增强鲁棒性，可以使用更多对的匹配特征点。

A36：根据光场中每个网格的最优单应性变换矩阵映射光场。

在本实施例中，对每一个网格进行映射：

其中M是将输入的光场分割后的网格，M'映射后的网格，是每个网格对应的光场最优单应性变换矩阵。

在本实施例中，根据光场网格最优单应性变换矩阵映射光场，针对视差造成的像素覆盖区域，则根据步骤A1中的光场深度估计得到的深度图或者步骤A2中的进行特征聚类得到的深度层次图挑选深度最小的像素作为像素覆盖位置的最终像素值。

A4：对光场图像融合，得到光场拼接结果。

具体地，采用4D图割方法对光场进行融合，得到光场拼接结果。

其中，4D图割是四维多分辨率图割。四维图割具体为：将整个4D光场映射到一个带权无向图，寻找最优的分割线使其保证整个光场的空间和角度的连续性，因此能量优化函数中p'是像素p空间维度和角度维度均相邻的像素；多分辨率图割具体为：首先对光场数据进行空间分辨率上的降采样，然后进行图割，得到低分辨率下的分割线，根据低分辨率下的分割线限制高分辨率的图割区域，最终在高分辨率下进行图割得到最优缝合线。

在本实施例中4D graph-cut具体为：首先将4D光场映射到一个带权无向图中，其次计算能量优化函数：

其中p、p'是光场重叠区域中相邻的像素，R(p)是区域项，B(p,p')是边界项。最后通过最小化能量优化函数找到光场拼接的最优缝合线，实现光场融合。

在本实施例中，为了加快4D图割(4D graph-cut)处理4D光场，采用多分辨率的4D图割，具体步骤为：首先对光场进行空间分辨率上的降采样，然后进行图割，得到低分辨率下的分割线，根据低分辨率下的分割线限制高分辨率的图割区域，最终在高分辨率下进行图割得到最优缝合线。

本发明的光场拼接方法结合了使用局部单应性变换矩阵来替代全局单应性变换矩阵的想法，显著提升了光场配准过程中的灵活度，从而实现细节部分更精确的光场拼接；并结合了通过引入深度图配合全局单应性变换矩阵的使用，解决了较大视差变化造成的果错位和重影的问题，实现了精确的视差容忍的光场拼接方法。通过光场相机自身的光场数据估计出的深度图来指导特征点对的筛选，避免了由于视差导致的特征点对的误删除，从而保证得到足够且有效的匹配特征点对。通过图割算法寻找最优缝合线实现光场融合，进一步修正拼接过程中产生的小的错位，实现更精确的光场拼接。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于深度的光场拼接方法，其特征在于，包括以下步骤：

A1：输入待拼接的光场以及该光场的子孔径图像，对光场的子孔径图像进行光场深度估计得到光场的深度图；

A2：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对，对特征点对进行筛选得到匹配特征点对；

A3：将待拼接的光场进行4D网格化，根据匹配特征点对预测全局单应性变换矩阵；并根据特征点与网格中心点的深度和位置关系建立权值矩阵；再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵，并根据光场中每个网格的最优单应性变换矩阵映射光场；

A4：对光场进行融合，得到光场拼接结果。

2.根据权利要求1所述的基于深度的光场拼接方法，其特征在于，步骤A2具体包括：

A21：提取光场的子孔径图像中的特征点，对特征点进行匹配得到特征点对；

A22：对所述深度图进行特征聚类得到光场的深度层次图；

A23：根据深度层次图对特征点对进行分组，分别对各组的特征点对进行筛选，合并筛选后的特征点对得到匹配特征点对。

3.根据权利要求2所述的基于深度的光场拼接方法，其特征在于，

其中步骤A21具体包括：使用SIFT特征提取方法提取光场的子孔径图像中的特征点，并对特征点进行匹配，得到粗匹配的特征点对：

其中，S_r(u₀,v₀)和S_w(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像，Ω_F为SIFT提取的特征点对组成的集合；

优选地，步骤A23具体包括：根据深度层次图D_l(x,y)对特征点对进行分组，然后分别对每一组的特征点对使用连续一致抽样检测算法进行筛选，剔除离群点，最后合并每一组筛选后的特征点对，得到最终有效的匹配特征点对：

其中，P是一对待筛选的特征点，S_i为像素所在的第i深度层，K是聚类个数，Ω_F为SIFT提取的特征点对组成的集合，Ω_r为筛选过后的特征点对组成的集合。

4.根据权利要求2所述的基于深度的光场拼接方法，其特征在于，其中步骤A22中对所述深度图进行特征聚类得到光场的深度层次图D_l为：

其中，S_i为像素所在的第i深度层，D(x,y)是步骤A1中的光场的深度图，μ_i是聚类中心，K是聚类个数。

5.根据权利要求1所述的基于深度的光场拼接方法，其特征在于，步骤A3中根据匹配特征点对预测的全局单应性变换矩阵Η的计算公式为：

P'＝HP

其中P(u,v,x,y,1)和P'(u',v',x',y',1)是通过步骤A2所得到的匹配特征点对。

6.根据权利要求1所述的基于深度的光场拼接方法，其特征在于，步骤A3中根据特征点与网格中心点的深度和位置关系建立权值矩阵w_i为：

其中α、β是比例系数，η∈[0,1]是权值矩阵w_i的最小阈值，(x*,y*)是网格中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D是步骤A1中的光场的深度图。

7.根据权利要求2至5任一项所述的基于深度的光场拼接方法，其特征在于，步骤A3中根据特征点与网格中心点的深度和位置关系建立权值矩阵w_i为：

其中α、β是比例系数，η∈[0,1]是权值矩阵w_i的最小阈值，(x*,y*)是网格中心点的位置坐标，(x_i,y_i)是特征点所在的位置坐标，D_l是步骤A2中的光场的深度层次图。

8.根据权利要求1所述的基于深度的光场拼接方法，其特征在于，步骤A3中根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵为：

其中，w_i是权值矩阵，Η是全局单应性变换矩阵，矩阵A∈R^4N×25由矩阵变换0_4×1＝A×Η得到。

9.根据权利要求2至5任一项所述的基于深度的光场拼接方法，其特征在于，步骤A3中根据光场中每个网格的最优单应性变换矩阵映射光场时，针对视差造成的像素覆盖区域，根据步骤A1中的深度图或者步骤A2中的深度层次图挑选深度最小的像素作为像素覆盖位置的最终像素值。

10.根据权利要求1所述的基于深度的光场拼接方法，其特征在于，步骤A3中具体包括：

A31：将待拼接的光场进行4D网格化；

A32：判断4D网格化后的每一个网格中是否包含不同深度层，如果是，则按深度层再次分割网络；否则直接进入步骤A33；

A33：根据匹配特征点对预测全局单应性变换矩阵；

A34：根据特征点与网格点中心的深度和位置关系建立权值矩阵；

A35：根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵；

A36：根据光场中每个网格的最优单应性变换矩阵映射光场。