CN107545586B - 基于光场极线平面图像局部的深度获取方法及系统 - Google Patents

Abstract

本发明涉及一种基于光场极线平面图像局部的深度获取方法及系统，所述深度获取方法包括：通过多个相机构成相机阵列，对真实场景进行采集，获得相机阵列视点图像；通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度。本发明通过多基线视点图像对相机阵列视点图像进行校正得到3D光场，基于代价函数计算像素的深度，将3D光场极线平面图像局部以及全局代价函数相结合，以利用整体图像信息，减小在深度跳变处深度估计的误差，提高估计的准确度。

Description

基于光场极线平面图像局部的深度获取方法及系统

技术领域

本发明涉及计算机图像处理技术领域，具体涉及一种基于光场极线平面图像局部的深度获取方法及系统。

背景技术

随着科学技术和人类认识世界需求的不断发展，传统的二维图像已经不能满足人们对于物体识别的要求。与灰度图像相比，深度图像具有物体三维特性信息，即深度信息。深度图获取对于在场景理解、自由视点视频绘制、三维显示等领域有着关键性引导作用。目前，基于相机阵列的深度图初获取方法中，通常是构建一个Cost-Volume(成本量)，依次根据每个相机的内外参数，将参考图像投影到其余相机捕获的非参考图像上，进行像素差值比较提取深度的方法。

但是目前的深度获取方法并没有完全利用整体的各相机图像信息，并且消耗时间长；

在深度跳变处即物体边缘处，深度估计误差较大。

发明内容

为了解决现有技术中的上述问题，即为了解决在深度跳变处估计误差大的不足的问题，本发明提供一种基于光场极线平面图像局部的深度获取方法及系统。

为解决上述技术问题，本发明提供了如下方案：

一种基于光场极线平面图像局部的深度获取方法，所述深度获取方法包括：

通过多个相机构成相机阵列，对真实场景进行采集，获得相机阵列视点图像；

通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度。

可选的，所述通过多基线视点图像对相机阵列视点图像进行校正，具体包括：

采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线；

将各个光心位置按照几何关系投影到虚拟基线上；

利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵；

将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

可选的，所述虚拟基线为到各个相机的光心位置距离和最小的一条基线。

可选的，所述计算所述3D光场中参考图像上的每一个像素的深度，具体包括：

通过沿着3D光场极线平面(EPI，epipolar plane image)中的线性结构移动参考图像上的每个像素至其他视点图像；所述其他视点图像为除所述移动的像素对应的视点图像以外的视点图像；

计算移动的像素与其他视点图像上像素的像素值差异；

根据各所述像素值差异确定代价函数的最小值，所述代价函数最小值对应的深度信息可信度最高。

可选的，所述根据各所述像素值差异确定代价函数的最小值，具体包括：

根据以下公式，分别计算右局部视点的代价函数cos t_r、左局部视点的代价函数cos t_l，以及全局的代价函数cos t：

其中，V表示视点图像的序列号，N表示视点图像的个数，Ref表示参考图像的序列号，V_Ref表示参考图像，LF(x,y,V_Ref)表示光场中的点(x,y,V_Ref)，

为通过沿着线性结构移动将LF(x,y,V_Ref)移动到其他视点图像上的像素点，k表示极线平面图像上的线性结构的斜率；

根据以下公式，分别将所述右局部视点的代价函数cos t_r、左局部视点的代价函数cos t_l及全局的代价函数cos t进行比较，确定最终的代价函数C_LF：

根据以下公式，选择所述最终的代价函数C_LF的最小值，确定所述参考图像上的每一个像素的深度d_p：

可选的，根据以下公式，计算所述极线平面图像上的线性结构的深度信息k：

其中，其中DISPARITY代表的是相邻两视点间的视差，baseline是相邻两相机之间的基线长度，f代表的是相机的焦距，d代表了参考图像上的每个像素的深度值。

可选的，所述相机的数量为7个。

可选的，各所述相机的分辨率为1024×768。

为解决上述技术问题，本发明还提供了如下方案：

一种基于光场极线平面图像局部的深度获取系统，其特征在于，所述获取系统包括：

相机阵列，由多个相机构成，用于对真实场景进行采集，获得相机阵列视点图像；

校正单元，用于通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

计算单元，用于基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度。

可选的，所述校正单元包括：

标定模块，用于采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线；

投影模块，用于将各个光心位置按照几何关系投影到虚拟基线上；

校正模块，用于利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵；

构建模块，用于将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

根据本发明的实施例，本发明公开了以下技术效果：

本发明通过多基线视点图像对相机阵列视点图像进行校正得到3D光场，基于代价函数计算像素的深度，将3D光场极线平面图像局部以及全局代价函数相结合，以利用整体图像信息，减小在深度跳变处深度估计的误差，提高估计的准确度。

附图说明

图1是本发明基于光场极线平面图像局部的深度获取方法的流程图；

图2(a)-图2(c)为3D光场图；

图3是本发明基于光场极线平面图像局部的深度获取系统的模块结构示意图。

符号说明：

相机阵列—1，校正单元—2，计算单元—3。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明提供一种基于光场极线平面图像局部的深度获取方法，通过多基线视点图像对相机阵列视点图像进行校正得到3D光场，基于代价函数计算像素的深度，将3D光场极线平面图像局部以及全局代价函数相结合，以利用整体图像信息，减小在深度跳变处深度估计的误差，提高估计的准确度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明基于光场极线平面图像局部的深度获取方法包括：

步骤100：通过多个相机构成相机阵列，对真实场景进行采集，获得相机阵列视点图像；

步骤200：通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

步骤300：基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度。

在本实施例中，共设置有7个相机，即所述相机阵列由7个Microsoft cameras构成。进一步地，每个相机的分辨率可为1024×768。

在步骤200中，所述通过多基线视点图像对相机阵列视点图像进行校正，具体包括：

步骤201：采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线。所述虚拟基线为到各个相机的光心位置距离和最小的一条基线。

步骤202：将各个光心位置按照几何关系投影到虚拟基线上。

步骤203：利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵。

步骤204：将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

其中，如图2(a)-图2(c)所示，在所述3D光场中，V表示视点图像的序列号，LF(x,y,V_Ref)表示光场中的点(x,y,V_Ref)，V_Ref表示参考图像(reference image)，I_Ref代表的是参考图像的序列号，x-V平面代表的是3D光场极线平面图像(EPI，epi-polar plane image)，在I_Ref上通过点p(x,y,V_Ref)的线l(x,y,V_Ref)代表的是EPI上的线性结构，该线性结构包含了深度信息(即斜率)：

DISPARITY代表的是相邻两视点间的视差，baseline是相邻两相机之间的基线长度，f代表的是相机的焦距，d代表了I_Ref的每个像素的深度值。

可以由线性结构，将某个视点图像上的某个点传递至另外的视点图像上。以极线平面图像EPI_y为例，视点图I_V0上的点(x，V₀)可以被传递至视点图I_V1上的点

上。

在步骤300中，所述计算所述3D光场中参考图像上的每一个像素的深度，具体包括：

步骤301：通过沿着3D光场极线平面中的线性结构移动参考图像上的每个像素至其他视点图像。所述其他视点图像为除所述移动的像素对应的视点图像以外的视点图像。

步骤302：计算移动的像素与其他视点图像上像素的像素值差异。

步骤303：根据各所述像素值差异确定代价函数的最小值，所述代价函数最小值对应的深度信息可信度最高。

其中，对于I_Ref上的每一个像素(x,y)，我们可以通过沿着线性结构移动每个像素至其他的视点图像，并计算出该移动像素的值与原其他的视点图像上的像素值的差异。将所有像素的平均的L₁正则差异作为代价函数C_LF。为每一个像素找到一个k，使得代价函数C_LF最小：

其中，N代表了视点图像的个数。然而该代价函数很容易使得深度跳跃处的深度估计不准确。

为提高深度估计的准确性，分别计算右局部视点的代价函数cos t_r、左局部视点的代价函数cos t_l，以及全局的代价函数cos t。具体的，在步骤303中，所述根据各所述像素值差异确定代价函数的最小值，具体包括：

步骤303a：根据公式(3)，分别计算右局部视点的代价函数cos t_r、左局部视点的代价函数cos t_l，以及全局的代价函数cos t：

其中，V表示视点图像的序列号，N表示视点图像的个数，Ref表示，V_Ref表示参考图像，LF(x,y,V_Ref)表示光场中的点(x,y,V_Ref)，

为通过沿着线性结构移动将LF(x,y,V_Ref)移动到其他视点图像上的像素点，k表示极线平面图像上的线性结构的深度信息。

步骤303b：根据公式(4)，分别将所述右局部视点的代价函数cos t_r、左局部视点的代价函数cos t_l及全局的代价函数cos t进行比较，确定最终的代价函数C_LF：

步骤303c：根据公式(5)，选择所述最终的代价函数C_LF的最小值，确定所述参考图像上的每一个像素的深度d_p：

通过对公式(1)的转化，得到参考图像上的每个像素p的深度。

此外，本发明还提供一种基于光场极线平面图像局部的深度获取系统，可减小在深度跳变处估计的误差，提高估计的准确度。如图3所示，本发明基于光场极线平面图像局部的深度获取系统包括相机阵列1、校正单元2及计算单元3。

其中，所述相机阵列1由多个相机构成，用于对真实场景进行采集，获得相机阵列视点图像；

所述校正单元2用于通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

所述计算单元3用于基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度。

进一步地，所述校正单元2包括标定模块、投影模块、校正模块及构建模块。

所述标定模块用于采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线；

所述投影模块，用于将各个光心位置按照几何关系投影到虚拟基线上；

所述校正模块，用于利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵；

所述构建模块，用于将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

相对于现有技术，本发明基于光场极线平面图像局部的深度获取系统与上述基于光场极线平面图像局部的深度获取方法的有益效果相同，在此不再赘述。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于光场极线平面图像局部的深度获取方法，其特征在于，所述深度获取方法包括：

通过多个相机构成相机阵列，对真实场景进行采集，获得相机阵列视点图像；

通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度；

其中，所述计算所述3D光场中参考图像上的每一个像素的深度，具体包括：

通过沿着3D光场极线平面中的线性结构移动参考图像上的每个像素至其他视点图像；所述其他视点图像为除所述移动的像素对应的视点图像以外的视点图像；

计算移动的像素与其他视点图像上像素的像素值差异；

根据各所述像素值差异确定代价函数的最小值，所述代价函数最小值对应的深度信息可信度最高；

其中，所述根据各所述像素值差异确定代价函数的最小值，具体包括：

根据以下公式，分别计算右局部视点的代价函数cost_r、左局部视点的代价函数cost_l，以及全局的代价函数cost：

其中，V表示视点图像的序列号，N表示视点图像的个数，Ref表示参考图像的序列号，V_Ref表示参考图像，LF(x,y,V_Ref)表示光场中的点(x,y,V_Ref)，

为通过沿着线性结构移动将LF(x,y,V_Ref)移动到其他视点图像上的像素点，k表示极线平面图像上的线性结构的斜率；

根据以下公式，分别将所述右局部视点的代价函数cost_r、左局部视点的代价函数cost_l及全局的代价函数cost进行比较，确定最终的代价函数C_LF：

根据以下公式，选择所述最终的代价函数C_LF的最小值，确定所述参考图像上的每一个像素的深度d_p：

2.根据权利要求1所述的基于光场极线平面图像局部的深度获取方法，其特征在于，所述通过多基线视点图像对相机阵列视点图像进行校正，具体包括：

采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线；

将各个光心位置按照几何关系投影到虚拟基线上；

利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵；

将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

3.根据权利要求2所述的基于光场极线平面图像局部的深度获取方法，其特征在于，所述虚拟基线为到各个相机的光心位置距离和最小的一条基线。

4.根据权利要求1所述的基于光场极线平面图像局部的深度获取方法，其特征在于，根据以下公式，计算所述极线平面图像上的线性结构的深度信息k：

其中，其中DISPARITY代表的是相邻两视点间的视差，baseline是相邻两相机之间的基线长度，f代表的是相机的焦距，d代表了参考图像上的每个像素的深度值。

5.根据权利要求1-4中任一项所述的基于光场极线平面图像局部的深度获取方法，其特征在于，所述相机的数量为7个。

6.根据权利要求1-4中任一项所述的基于光场极线平面图像局部的深度获取方法，其特征在于，各所述相机的分辨率为1024×768。

7.一种基于光场极线平面图像局部的深度获取系统，其特征在于，所述获取系统包括：

相机阵列，由多个相机构成，用于对真实场景进行采集，获得相机阵列视点图像；

校正单元，用于通过多基线视点图像对相机阵列视点图像进行校正，形成3D光场；

计算单元，用于基于代价函数，计算所述3D光场中参考图像上的每一个像素的深度；

其中，所述计算所述3D光场中参考图像上的每一个像素的深度，具体包括：

通过沿着3D光场极线平面中的线性结构移动参考图像上的每个像素至其他视点图像；所述其他视点图像为除所述移动的像素对应的视点图像以外的视点图像；

计算移动的像素与其他视点图像上像素的像素值差异；

根据各所述像素值差异确定代价函数的最小值，所述代价函数最小值对应的深度信息可信度最高；

其中，所述根据各所述像素值差异确定代价函数的最小值，具体包括：

根据以下公式，分别计算右局部视点的代价函数cost_r、左局部视点的代价函数cost_l，以及全局的代价函数cost：

其中，V表示视点图像的序列号，N表示视点图像的个数，Ref表示参考图像的序列号，V_Ref表示参考图像，LF(x,y,V_Ref)表示光场中的点(x,y,V_Ref)，

为通过沿着线性结构移动将LF(x,y,V_Ref)移动到其他视点图像上的像素点，k表示极线平面图像上的线性结构的斜率；

根据以下公式，分别将所述右局部视点的代价函数cost_r、左局部视点的代价函数cost_l及全局的代价函数cost进行比较，确定最终的代价函数C_LF：

根据以下公式，选择所述最终的代价函数C_LF的最小值，确定所述参考图像上的每一个像素的深度d_p：

8.根据权利要求7所述的基于光场极线平面图像局部的深度获取系统，其特征在于，所述校正单元包括：

标定模块，用于采用捕获棋盘格的方法标定出的所述相机阵列中各个相机的光心位置，确定一条虚拟基线；

投影模块，用于将各个光心位置按照几何关系投影到虚拟基线上；

校正模块，用于利用双目相机基线视点图像矫正方法对捕获到的相机阵列视点图像进行校正，使得每幅图的基线变成共线并且平行于所述虚拟基线，并获得各个相机对应的单映矩阵；

构建模块，用于将各所述单映矩阵分别作用于对应相机的视点图像，获得对应的校正视点图像，各所述校正视点图像构成3D光场。

Images