CN112465704A - 一种全局-局部自适应优化的全景光场拼接方法 - Google Patents

Abstract

本发明公开了一种全局‑局部自适应优化的全景光场拼接方法，包括：输入多个待拼接光场；提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；将多个待拼接光场分别进行4D网格化，根据所述全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据所述局部单应性变换矩阵评价对应的网格的局部配准精度；比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。本发明保证了光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

Description

一种全局-局部自适应优化的全景光场拼接方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种全局-局部自适应优化的全景光场拼接方法。

背景技术

光场相机主镜头和传感器之间的微透镜阵列可以有效捕捉光线信息，在一次拍摄中同时记录光线的方向和强度信息。因此，光场可以准确地再现场景中的立体视差、运动视差、反射、折射、重聚焦等效果，为用户提供极具真实感的沉浸式体验，给虚拟现实领域的研究提供极大助力。然而，受光场相机光学结构的限制，其视场角较小，为了从光场的巨大潜力中获益，必须扩展光场的视场角。全景光场拼接算法不依赖于特殊光学设计，也不需要复杂的采集方式，应用性较强。但是现有的全景光场拼接算法通常存在视差所带来的错位和重影问题，导致拼接结果不够准确。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种全局-局部自适应优化的全景光场拼接方法，保证了光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

为了达到上述目的，本发明采用以下技术方案：

本发明的一个实施例公开了一种全局-局部自适应优化的全景光场拼接方法，包括以下步骤：

S1：输入多个待拼接光场；

S2：提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；

S3：将多个待拼接光场分别进行4D网格化，根据所述全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据所述局部单应性变换矩阵评价对应的网格的局部配准精度；

S4：比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。

优选地，步骤S1具体还包括：解码和预处理多个待拼接光场以得到光场子孔径图像阵列：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}

其中SAI_i(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像，待拼接光场L_i(u,v,s,t)解码后得到光场子孔径图像阵列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是光场子孔径图像阵列的行数和列数，(u,v)为角度域坐标，(s,t)为空间域坐标。

优选地，步骤S1具体还包括：将多个待拼接光场投影至双球面坐标系，其中双平面坐标和双球面坐标之间的转换关系为：

其中，

是角度域球坐标，

是空间域球坐标，(u,v)为角度域坐标，(s,t)为空间域坐标，r是双球面的外球半径，f是光场相机焦距，α₀是光场的俯仰角；

经过转换后，得到双球面坐标系下的待拼接光场

优选地，步骤S2具体包括：

S21：提取、匹配和筛选待拼接光场的特征点，计算待拼接光场对之间的单应性变换矩阵；

S22：确定参考光场和拼接顺序，计算所有待拼接光场变换到所述参考光场所在的坐标系的全局单应性变换矩阵。

优选地，步骤S21具体包括：将输入的多个待拼接光场两两配对，使用SIFT特征提取方法提取对应的子孔径图像中的特征点对，对每一组的特征点对使用连续一致抽样检测算法进行筛选，合并每一组筛选后的特征点对，得到光场中有效的匹配特征点对；

根据光场中有效的匹配特征点对预测得到待拼接光场对之间的单应性变换矩阵H_ij为：

P_j＝H_ijP_i

其中，P_i和P_j是待拼接光场L_i和待拼接光场L_j的有效匹配特征点对，H_ij表示待拼接光场L_i和待拼接光场L_j之间的单应性变换矩阵；

再根据下式求解待拼接光场对之间的单应性变换矩阵H_ij的最优解

其中，矩阵A_ij∈R^4N×25通过矩阵变换得到：0_4×1＝A_ij×H_ij，N为有效匹配特征点对的数量。

优选地，步骤S22中确定参考光场具体包括：遍历所有的待拼接光场，将与其他所有待拼接光场之间的有效匹配特征点对数量最多的待拼接光场作为参考光场L_r；

进一步地，步骤S22中确定拼接顺序具体包括：从所述参考光场开始，采用贪心算法搜索最优拼接顺序，计算每一个待拼接光场到参考光场的拼接路径，并根据路径索引取对应的全局单应性变换矩阵H_ir；

更进一步地，采用光束平差法优化全局单应性变换矩阵，取特征点映射残差作为优化目标：

其中，P_r和P_i是所述参考光场L_r和待拼接光场L_i的有效匹配特征点对；

为全局单应性变换矩阵H_ir的最优解。

优选地，步骤S3中将多个待拼接光场分别进行4D网格化，评价每个网格的全局配准精度具体包括：

将多个待拼接光场分别进行4D网格化，划分网格数量为1×1×X×Y，并对每一个网格进行映射，采用映射后网格中心子视角之间的RMSE来评价全局单应性变换矩阵H_ir的配准精度：

其中，G_ixy是将待拼接光场L_i进行分割后的网格，H_irG_ixy是从待拼接光场L_i所在的坐标系通过全局单应性变换矩阵H_ir映射到所述参考光场L_r所在的坐标系的网格，x∈[1,X],y∈[1,Y]，M为待拼接光场的数量；

进一步地，对于Q(H_ir)高于预设阈值的网格，计算所有特征点与该网格中心点的距离权重，以计算得到该网格的局部单应性变换矩阵H_ixy：

其中，w_k是特征点与该网格中心点的距离权重，

是局部单应性变换矩阵H_ixy的最优解，矩阵A_ir∈R^4N×25通过矩阵变换得到：0_4×1＝A_ir×H_ir，N为有效匹配特征点对的数量；

再采用映射后网格中心子视角之间的RMSE来评价局部单应性变换矩阵H_ixy的配准精度：

其中，H_ixyG_ixy是从待拼接光场L_i所在的坐标系通过局部单应性变换矩阵H_ixy映射到所述参考光场L_r所在的坐标系的网格，x∈[1,X],y∈[1,Y]，M为待拼接光场的数量。

优选地，步骤S4具体包括：遍历待拼接光场的每个网格，比较全局配准精度和局部配准精度，对每个网格取精度最高的单应性变换矩阵：

其中，T为预设阈值；

再采用单应性变换矩阵集合{H_ixy|i∈[1,M],x∈[1,X],y∈[1,Y]}将所有待拼接光场映射到所述参考光场所在的坐标系中，并采用4D图割进行光场融合，得到拼接结果。

优选地，采用4D图割进行光场融合具体包括：

将4D光场映射到一个带权无向图中，计算能量优化函数：

其中p、p'是光场重叠区域O中相邻的像素，R(p)是区域项，B(p,p')是边界项；最后通过最小化能量优化函数找到光场拼接的最优缝合线，实现光场融合。

本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的全景光场拼接方法的步骤。

与现有技术相比，本发明的有益效果在于：本发明提出的全局-局部自适应优化的全景光场拼接方法，充分利用每个光场的特征点，计算待拼接光场到参考光场的单应性变换矩阵，由全局单应性变换矩阵与局部单应性变换矩阵混合配准光场并融合光场，得到整体效果合理且细节准确度高的拼接结果，大大提高多光场的全景拼接精度。

附图说明

图1是本发明实施例公开的全局-局部自适应优化的全景光场拼接方法；

图2是本发明优选实施例公开的全局-局部自适应优化的全景光场拼接方法。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。在具体的实施方案中执行本发明的步骤时，可以按照以下方式操作。需注意的是，在实施过程中所采用的具体方法都仅为举例说明，本发明所涵盖的范围包括但不局限于所列举的以下方法。

现有的光场拼接方法通过特征匹配和单应性变换矩阵映射的方法进行光场配准，分为全局单应性变换矩阵配准和网格单应性变换矩阵配准两种方式，全局单应性变换矩阵配准的光场整体形态合理，但不能解决视差所带来的错位和重影，网格单应性变换矩阵配准是将光场划分为网格，对每个网格估计单应性变换矩阵并配准的，可以解决小视差带来的配准错误，但由于网格单应性变换矩阵主要由该网格内部的特征点对求解得出，所以配准结果与局部细节相关，而无法保证整体准确。

本发明基于现有的光场拼接方法所存在的问题，提出一种全局-局部自适应优化的全景光场拼接方法，结合全局和局部单应性准确地配准光场；具体地，本方法中将光场划分为4D网格，引入局部准确度评价函数，引导拼接过程中自适应地选择全局或局部单应性变换矩阵，能够同时保证全景光场整体形态正常且局部细节准确。

如图1，本发明的一个实施例公开了一种全局-局部自适应优化的全景光场拼接方法，包括以下步骤：

S1：输入多个待拼接光场；

S2：提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；

S3：将多个待拼接光场分别进行4D网格化，根据全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据局部单应性变换矩阵评价对应的网格的局部配准精度；

S4：比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。

如图2，本发明的一个优选实施例公开了一种全局-局部自适应优化的全景光场拼接方法，包括以下步骤：

A1：解码和预处理待拼接光场，得到光场子孔径图像阵列，并且将待拼接光场投影至双球面坐标系；

在本实施例中，以拼接M个光场为例，

为待拼接光场，其中(u,v)为角度域坐标，(s,t)为空间域坐标。对输入光场进行解码和预处理，得到光场的子孔径图像方法如下：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}. (1)

其中SAI_i(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像；光场L_i解码后得到子孔径图像阵列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是子孔径图像阵列的行数和列数。

本实施例在球坐标系下拼接光场全景，解码后的光场参数化的形式是双平面法，需投影到光场的双球面坐标系下再做下一步拼接，双平面坐标和双球面坐标之间的转换关系如下：

其中，

是角度域球坐标，

是空间域球坐标，r是双球面的外球半径，f是光场相机焦距，α₀是光场的俯仰角。为了简化计算，本实施例依然使用坐标(u,v)作为角度域坐标以表示视角，使用等矩形投影(Equirectangular Projection,ERP)表示空间域坐标：

经过变换，得到双球面坐标系下的待拼接光场集合

A2：提取、匹配和筛选光场特征点，确定参考光场和拼接顺序，并计算全局单应性变换矩阵配准光场，使用光束平差优化全景光场的配准精度。

具体地，步骤A2包括以下步骤：

A21：提取、匹配和筛选光场特征点，计算光场对之间的单应性变换矩阵；

在本实施例中，将输入光场两两配对，使用SIFT特征提取方法提取对应子孔径图像中的特征点对，对每一组的特征点对使用连续一致抽样检测(RANSAC)算法进行筛选，合并每一组筛选后的特征点对，得到光场中有效的匹配特征点对。

在本实施例中，预测的待拼接光场L_i和待拼接光场L_j之间的单应性变换矩阵H_ij为：

P_j＝H_ijP_i (4)

其中，

和

是待拼接光场L_i和待拼接光场L_j的有效匹配特征点对。

在本实施例中，从特征点对求解光场对之间的单应性变换矩阵的方法如下：

其中

为单应性变换矩阵H_ij的最优解，矩阵A_ij∈R^4N×25(R为实数，N为有效匹配特征点对的数量)通过矩阵变换得到：

0_4×1＝A_ij×H_ij (6)

A22：确定参考光场和拼接顺序，计算所有待拼接光场变换到参考坐标系的链条式全局单应性变换矩阵，使用光束平差优化全景光场的配准精度。

本实施例中，待拼接光场L_i和待拼接光场L_j之间的特征点对数量为S_ij，所有配对光场之间的特征点对数量组成的集合为[S_ij]_M×M。遍历待拼接光场，与其他所有光场之间的有效匹配特征点对数量最多的光场为参考光场L_r，参考光场满足条件：

其中，S_rj表示参考光场L_r和待拼接光场L_j之间的特征点对数量，S_ij表示待拼接光场L_i和待拼接光场L_j之间的特征点对数量。

从参考光场开始，使用贪心算法搜索最优拼接顺序，计算每一个待拼接光场到参考光场的拼接路径，并根据路径索引取对应的全局单应性变换矩阵H_ir或将多个H相乘获得H_ir，并使用光束平差法优化全局单应性变换矩阵集合，取特征点映射残差作为优化目标：

得到链条式全局单应性变换矩阵集合

也即所有待拼接光场变换到参考光场所在的坐标系的全局单应性变换矩阵；其中，P_r和P_i是参考光场L_r和待拼接光场L_i的有效匹配特征点对；

为全局单应性变换矩阵H_ir的最优解，H_ir表示待拼接光场L_i变换到参考光场L_r所在的坐标系的全局单应性变换矩阵。

A3：将待拼接光场进行4D网格化，划分网格数量为1×1×X×Y，评价每个网格的全局配准精度，对于精度较低的网格，计算所有特征点与该网格中心点的距离权重，以此估计该网格的局部单应性变换矩阵，并评价网格的局部配准精度。

具体地，步骤A3包括以下步骤：

A31：将待拼接光场进行4D网格化，评价每个网格的全局配准精度；

在本实施例中，将输入光场数据分割成规则的4维立体网格，然后对每一个网格进行映射：

G_ixy'＝H_irG_ixy (9)

其中G_ixy是将输入的待拼接光场L_i分割后的网格，G_ixy'是从待拼接光场L_i所在的坐标系通过全局单应性变换矩阵H_ir映射到参考光场L_r所在的坐标系映射后的网格，x∈[1,X],y∈[1,Y]，X、Y表示网格的总数。

本实施例中，使用映射后网格中心子视角之间的RMSE评价全局单应性变换矩阵配准精度。

其中，

是与当前网格映射到参考坐标系(参考光场所的坐标系)相同区域的所有待输入光场中的对应网格。

如果RMSE高于阈值T，则表明对应的网格的单应性变换矩阵配准精度较低，对当前网格估计局部网格单应性变换矩阵。

A32：对于精度较低的网格，计算所有特征点与该网格中心点的距离权重，以此估计该网格的局部单应性变换矩阵，并评价网格的局部配准精度。

在本实施例中，求解每个网格的单应性变换矩阵方式如下：

其中w_k是与网格所在的位置有关的权值(即特征点与该网格中心点的距离权重)，

是局部单应性变换矩阵H_ixy的最优解，矩阵A_ir∈R^4N×25通过矩阵变换得到：0_4×1＝A_ir×H_ir，N为有效匹配特征点对的数量；

具体地，权值w_k定义为：

其中α是比例系数，η∈[0,1]是权值矩阵的最小阈值，(x*,y*)是网格中心的位置坐标，(x_k,y_k)是特征点所在的位置坐标。

再采用映射后网格中心子视角之间的RMSE来评价局部单应性变换矩阵H_ixy的配准精度：

其中，H_ixyG_ixy是从待拼接光场L_i所在的坐标系通过局部单应性变换矩阵H_ixy映射到参考光场L_r所在的坐标系的网格，x∈[1,X],y∈[1,Y]，M为待拼接光场的数量。

在本实施例中，对于使用全局单应性变换矩阵映射后RMSE值较高的网格(也即全局配准精度较低的网格)，根据网格位置设定权重矩阵，重新估计网格单应性变换矩阵，该矩阵主要由靠近网格中心的特征点决定，因此与网格内部细节相关性强，能够准确配准细节；在重新估计网格的局部单应性变换矩阵后，还对局部单应性变换矩阵映射后的RMSE值来进行评价局部配准精度。

A4：比较全局配准精度和局部配准精度，对每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。

在本实施例中，遍历待拼接光场的每个网格，比较全局配准精度和局部配准精度，对每个网格取精度最高的单应性变换矩阵：

T为预设阈值；使用单应性变换矩阵集合{H_ixy|i∈[1,M],x∈[1,X],y∈[1,Y]}将所有待拼接光场映射到参考光场所在的坐标系中，然后使用4Dgraphcut(4D图割)进行光场融合，得到拼接结果。

在本实施例中，首先将4D光场映射到一个带权无向图中，其次计算能量优化函数：

其中p，p'是光场重叠区域O中相邻的像素，R(p)是区域项，B(p,p')是边界项。最后通过最小化能量优化函数找到光场拼接的最优缝合线，实现光场融合。

本优选实施例基于光场双球面坐标系，在拼接过程中实现全局-局部单应性变换矩阵自适应配准，保证了光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

上述优选实施例公开的全景光场拼接方法是用于球面全景光场的拼接，本发明所公开的全景光场拼接方法也可以应用于非球面全景光场，应用于非球面全景光场时不需将待拼接光场投影至双球面坐标系，只需直接在双平面坐标系上进行拼接即可，同样可以在拼接过程中实现全局-局部单应性变换矩阵自适应配准，保证光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的全景光场拼接方法，具体实现可参见方法实施例，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种全局-局部自适应优化的全景光场拼接方法，其特征在于，包括以下步骤：

S1：输入多个待拼接光场；

S2：提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；

S3：将多个待拼接光场分别进行4D网格化，根据所述全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据所述局部单应性变换矩阵评价对应的网格的局部配准精度；

S4：比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。

2.根据权利要求1所述的全景光场拼接方法，其特征在于，步骤S1具体还包括：解码和预处理多个待拼接光场以得到光场子孔径图像阵列：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}

其中SAI_i(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像，待拼接光场L_i(u,v,s,t)解码后得到光场子孔径图像阵列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是光场子孔径图像阵列的行数和列数，(u,v)为角度域坐标，(s,t)为空间域坐标。

3.根据权利要求1所述的全景光场拼接方法，其特征在于，步骤S1具体还包括：将多个待拼接光场投影至双球面坐标系，其中双平面坐标和双球面坐标之间的转换关系为：

其中，

是角度域球坐标，

是空间域球坐标，(u,v)为角度域坐标，(s,t)为空间域坐标，r是双球面的外球半径，f是光场相机焦距，α₀是光场的俯仰角；

经过转换后，得到双球面坐标系下的待拼接光场

4.根据权利要求1所述的全景光场拼接方法，其特征在于，步骤S2具体包括：

S21：提取、匹配和筛选待拼接光场的特征点，计算待拼接光场对之间的单应性变换矩阵；

S22：确定参考光场和拼接顺序，计算所有待拼接光场变换到所述参考光场所在的坐标系的全局单应性变换矩阵。

5.根据权利要求4所述的全景光场拼接方法，其特征在于，步骤S21具体包括：将输入的多个待拼接光场两两配对，使用SIFT特征提取方法提取对应的子孔径图像中的特征点对，对每一组的特征点对使用连续一致抽样检测算法进行筛选，合并每一组筛选后的特征点对，得到光场中有效的匹配特征点对；

根据光场中有效的匹配特征点对预测得到待拼接光场对之间的单应性变换矩阵H_ij为：

P_j＝H_ijP_i

其中，P_i和P_j是待拼接光场L_i和待拼接光场L_j的有效匹配特征点对，H_ij表示待拼接光场L_i和待拼接光场L_j之间的单应性变换矩阵；

再根据下式求解待拼接光场对之间的单应性变换矩阵H_ij的最优解

其中，矩阵A_ij∈R^4N×25通过矩阵变换得到：0_4×1＝A_ij×H_ij，N为有效匹配特征点对的数量。

6.根据权利要求5所述的全景光场拼接方法，其特征在于，步骤S22中确定参考光场具体包括：遍历所有的待拼接光场，将与其他所有待拼接光场之间的有效匹配特征点对数量最多的待拼接光场作为参考光场L_r；

进一步地，步骤S22中确定拼接顺序具体包括：从所述参考光场开始，采用贪心算法搜索最优拼接顺序，计算每一个待拼接光场到参考光场的拼接路径，并根据路径索引取对应的全局单应性变换矩阵H_ir；

更进一步地，采用光束平差法优化全局单应性变换矩阵，取特征点映射残差作为优化目标：

其中，P_r和P_i是所述参考光场L_r和待拼接光场L_i的有效匹配特征点对；

为全局单应性变换矩阵H_ir的最优解。

7.根据权利要求1所述的全景光场拼接方法，其特征在于，步骤S3中将多个待拼接光场分别进行4D网格化，评价每个网格的全局配准精度具体包括：

将多个待拼接光场分别进行4D网格化，划分网格数量为1×1×X×Y，并对每一个网格进行映射，采用映射后网格中心子视角之间的RMSE来评价全局单应性变换矩阵H_ir的配准精度：

其中，G_ixy是将待拼接光场L_i进行分割后的网格，H_irG_ixy是从待拼接光场L_i所在的坐标系通过全局单应性变换矩阵H_ir映射到所述参考光场L_r所在的坐标系的网格，x∈[1,X],y∈[1,Y]，M为待拼接光场的数量；

进一步地，对于Q(H_ir)高于预设阈值的网格，计算所有特征点与该网格中心点的距离权重，以计算得到该网格的局部单应性变换矩阵H_ixy：

其中，w_k是特征点与该网格中心点的距离权重，

是局部单应性变换矩阵H_ixy的最优解，矩阵A_ir∈R^4N×25通过矩阵变换得到：0_4×1＝A_ir×H_ir，N为有效匹配特征点对的数量；

再采用映射后网格中心子视角之间的RMSE来评价局部单应性变换矩阵H_ixy的配准精度：

其中，H_ixyG_ixy是从待拼接光场L_i所在的坐标系通过局部单应性变换矩阵H_ixy映射到所述参考光场L_r所在的坐标系的网格，x∈[1,X],y∈[1,Y]，M为待拼接光场的数量。

8.根据权利要求7所述的全景光场拼接方法，其特征在于，步骤S4具体包括：遍历待拼接光场的每个网格，比较全局配准精度和局部配准精度，对每个网格取精度最高的单应性变换矩阵：

其中，T为预设阈值；

再采用单应性变换矩阵集合{H_ixy|i∈[1,M],x∈[1,X],y∈[1,Y]}将所有待拼接光场映射到所述参考光场所在的坐标系中，并采用4D图割进行光场融合，得到拼接结果。

9.根据权利要求8所述的全景光场拼接方法，其特征在于，采用4D图割进行光场融合具体包括：

将4D光场映射到一个带权无向图中，计算能量优化函数：

其中p、p'是光场重叠区域O中相邻的像素，R(p)是区域项，B(p,p')是边界项；最后通过最小化能量优化函数找到光场拼接的最优缝合线，实现光场融合。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1至9任一项所述的全景光场拼接方法的步骤。

Images