CN105023275B - 超分辨率光场采集装置及其的三维重建方法 - Google Patents

Abstract

本发明提出一种超分辨率光场采集装置及其的三维重建方法，该光场采集装置包括：相机；球透镜，球透镜位于相机的前方，相机透过球透镜进行图像采集；球透镜驱动装置，球透镜驱动装置用于驱动球透镜在水平和/或竖直方向移动。本发明的光场采集装置能够采集高分辨率的三维或者四维稠密光场，采集速度快、效率高，并且该装置结构简单、使用方便、适用范围广。

Description

超分辨率光场采集装置及其的三维重建方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种超分辨率光场采集装置及其的三维重建方法。

背景技术

光场采集及其重建技术是计算机视觉领域中一个非常重要的问题，利用光场进行三维重建相比传统的三维重建方法有着极大的优势：其所需的硬件资源少、便于在PC上实时重建；不需要繁琐的人机交互，适用性强，场景的复杂性不会增加计算的复杂度。然而，使用三维扫描仪虽然可以进行高精度的三维重建，但其昂贵的设备价格和非常局限的使用场合限制了实际的应用。光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

传统的光场采集装置主要有：使用相机阵列，最常见的有球形相机阵列和平面/直线相机阵列，一般需要使用几十个或者上百个相机布置在场景中的合适位置对同一场景进行同步的采集；使用镜头阵列，通过一次拍摄出场景不同景深的照片，能够实现场景的任意范围聚焦，并且这样的光场相机已经面世进入到商业应用领域。

光场三维重建技术的核心问题是场景深度的计算，由于光场提供了丰富的场景信息，因此能够从理论上保证精确地计算出场景深度。借助深度信息可以对场景进行三维建模，在此基础上可以实现场景任意视点、任意光照的虚拟成像，以及图像分割、立体显示等非常有意义的应用。传统的深度恢复算法主要是基于多视点的立体匹配技术，通过建立场景点在多视点图像中的位置对应关系，计算其在相邻视角下产生的视差与其深度建立联系，所产生视差越大的场景点的深度越小，即越接近前景。而由于光场数据的大数据量和冗余性的特点，光场数据的表示和存储也是一个重要的问题。此外，光场深度计算算法也严重受到光场大数据量大计算量的制约，传统方法对于大规模光场的计算往往需要耗费很长的时间，光场计算的实时应用也受到限制。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的一个目的在于提供一种超分辨率光场采集装置，该装置能够采集高分辨率的三维或者四维稠密光场，采集速度快、效率高，并且该装置结构简单、使用方便、适用范围广。

本发明的另一个目的在于提出一种超分辨率光场采集装置的三维重建方法。

为了实现上述目的，本发明第一方面的实施例公开了一种超分辨率光场采集装置，包括：相机；球透镜，所述球透镜位于所述相机的前方，所述相机透过所述球透镜进行图像采集；球透镜驱动装置，所述球透镜驱动装置用于驱动所述球透镜在水平和/或竖直方向移动。

根据本发明实施例的超分辨率光场采集装置，由固定的相机和可移动的球透镜组成，通过驱动装置控制球透镜在一维或者二维方向上移动实现对场景的多视角采集。该采集装置通过驱动装置控制球透镜精确移动一定的距离，能够采集高分辨率的三维或者四维稠密光场，采集速度快、效率高，与传统的使用多相机阵列采集光场的装置相比，该装置只需要使用一个相机，不存在多相机同步的问题，并且采集装置简单、便于移动，易于操作，能使用于各种不同的场景，即适用范围广。

另外，根据本发明上述实施例的超分辨率光场采集装置还可以具有如下附加的技术特征：

在一些示例中，所述球透镜驱动装置包括：支架，所述支架的一端与所述球透镜相连，以支撑所述球透镜；水平步进电机和竖直步进电机，所述水平步进电机和竖直步进电机分别与所述支架的另一端相连，所述水平步进电机用于驱动所述支架在水平方向移动，所述竖直步进电机用于驱动所述支架在竖直方向移动。

在一些示例中，还包括：控制器，所述控制器分别与所述相机和所述球透镜驱动装置相连，以控制所述相机的采集以及对所述球透镜驱动装置进行控制。

本发明第二方面的实施例还提出了一种如本发明第一方面实施例提供的所述超分辨率光场采集装置的三维重建方法，包括以下步骤：控制所述球透镜移动，并通过所述相机进行多视角的图像采集，以得到采集的图像序列；对所述图像序列中每一帧进行校正，并根据校正后的每一帧图像得到场景的深度信息；根据所述深度信息和所述图像序列之间的视差重建所述场景的三维模型。

根据本发明实施例的超分辨率光场采集装置的三维重建方法，能够求解出非常精细的场景深度，包括场景中边缘处的深度变化也能精确求解；通过对极图像序列来逐行求解场景的深度的方法，不需要读入所有图像，大大减少深度求解时的内存占用量；并且该方法能够处理采集光场数据中的一些不可避免的异常点的情况，具有非常高的鲁棒性。此外，该方法相比图像分割等传统方法效率大大提高，能够求解上亿像素的大规模光场。

另外，根据本发明上述实施例的超分辨率光场采集装置的三维重建方法还可以具有如下附加的技术特征：

在一些示例中，所述对所述图像序列中每一帧图像进行校正，进一步包括：校正每一帧图像的镜头畸变，并估计所有相机的位置参数，以确定一条距离所有相机中心的垂直距离最小的基线，并使每一帧图像以该所述基线为基准作相应的校正。

在一些示例中，所述根据校正后的每一帧图像得到场景的深度信息，进一步包括：计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜；根据所述边缘置信度掩膜计算被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤波；计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；根据各像素点的视差值生成视差图。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的超分辨率光场采集装置的结构示意图；

图2是根据本发明一个实施例的超分辨率光场采集装置的三维重建方法的流程图；以及

图3是根据本发明一个实施例的深度信息求取过程的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的超分辨率光场采集装置及其的三维重建方法。

图1是根据本发明一个实施例的超分辨率光场采集装置的结构示意图。如图1所示，该光场采集装置包括：相机110、球透镜120和球透镜驱动装置130(图中未示出)。

其中，球透镜120位于相机110的前方，相机110透过球透镜120进行图像采集。

球透镜驱动装置130用于驱动球透镜120在水平和/或竖直方向移动。进一步地，如图1所示，球透镜驱动装置130包括：支架131、水平步进电机132和竖直步进电机133。其中，水平步进电机132和竖直步进电机133分别与支架131的另一端相连，水平步进电机132用于驱动支架131在水平方向移动，竖直步进电机133用于驱动支架131在竖直方向移动。

进一步地，在本发明的一个实施例中，该光场采集装置还包括控制器140(图中未示出)。控制器140分别与相机110和球透镜驱动装置130相连，以控制相机110的采集以及对球透镜驱动装置130进行控制。

具体地说，在具体的实施例中，例如该光场采集装置由两部分构成：其前端设置一个球透镜120，球透镜120固定在可移动支架131上，使用双轴步进电机(包括水平步进电机132和垂直步进电机133)控制可以使其在水平和竖直两个正交方向上运动，每步移动的距离可以精确控制，最小能达到0.1mm，从设定的位置坐标原点向两侧的最大移动范围能够达到±10cm。可以通过点动方式手动控制电机运动使其运动固定的偏移量，也可以使其自动控制做匀速等距偏移，装置移动方向的示意图如图1所示，分别由两个电机(水平步进电机131和竖直步进电机132)控制螺柱旋进或旋出，固定在螺柱上的球透镜支架则分别做左右或者上下移动。

该光场采集装置的后端是一个球面状相机阵列支架，球面上均匀分布的圆孔用于安装固定相机110，而球心所在处就是球透镜120所在坐标原点的位置。利用球透镜120和后端相机110成像采集场景信息，而该光场采集装置可以在后端安装多相机阵列，每个相机110采集场景的一部分信息，整个装置可以采集到上亿像素高分辨率、大视场角的场景信息。

在具体示例中，该光场采集装置例如使用35mm定焦镜头的相机110，而球透镜120在其后方的成像平面正好与相机110的焦距相当，通过微调相机110的对焦平面可以对室内或者室外的场景清晰成像。采集普通分辨率光场时只需要在相机阵列中心位置放置一个相机110，由电机控制等距微小的移动球透镜位置，拍摄一组光场信息。在该示例中采集3D光场，只需要固定球透镜120的竖直位置不变，使在水平方向上移动，比如固定0.1mm的单次偏移量，使用自行开发的采集软件，整个采集过程非常的简单快速，并且可以获得相当精确的稠密光场数据。

综上，根据本发明实施例的超分辨率光场采集装置，由固定的相机和可移动的球透镜组成，通过驱动装置控制球透镜在一维或者二维方向上移动实现对场景的多视角采集。该采集装置通过驱动装置控制球透镜精确移动一定的距离，能够采集高分辨率的三维或者四维稠密光场，采集速度快、效率高，与传统的使用多相机阵列采集光场的装置相比，该装置只需要使用一个相机，不存在多相机同步的问题，并且采集装置简单、便于移动，易于操作，能使用于各种不同的场景，即适用范围广。

本发明的进一步实施例还提供了一种如本发明上述实施例描述的超分辨率光场采集装置的三维重建方法。

图2是根据本发明一个实施例的超分辨率光场采集装置的三维重建方法的流程图。如图2所示，该方法包括以下步骤：

步骤S101：控制球透镜移动，并通过相机进行多视角的图像采集，以得到采集的图像序列。

步骤S102：对图像序列中每一帧进行校正，并根据校正后的每一帧图像得到场景的深度信息。

具体地说，对上述步骤S101中采集得到的图像需要进行校正。在本发明的一个实施例中，进行图像校正具体包括：例如首先使用一些现有的软件来校正每一帧图像的镜头畸变，然后估计所有相机的位置参数，确定一条距离所有相机中心的垂直距离最小的基线，并且使每一帧图像都以该基线为基准作相应的校正。

进一步地，经过校正的光场数据是一组相机光心等距排布于一维直线上的图像，RGB颜色空间的辐射度来描述3D光场可以表示为一个R³→R³的映射：r＝L(u,v,s)，其中s表示在一维直线上分布的不同相机位置坐标，而坐标(u,v)表示光线方向，即不同相机拍摄图像I_s(u,v)中的像素坐标，前述光场采集装置在u,v,s三个方向上都保证了均匀稠密采样。固定坐标v，3D光场可以表示为一系列u-s截面图像，即对极图像E_v(u,s)，生成该图像只需要将所有原始图像I_s(u,v)中的第v行依次取出，按照坐标s的顺序按行排列即可。每一张对极图像都表示了所采集的光场中某一行的所有数据信息。

进一步地，进行光场深度信息的计算。在本发明的一个实施例中，采用了一种基于精细到粗糙技术的深度估计方法，能够得到全分辨率下非常精细的深度图。如图3所示，展示了光场深度计算方法的整体流程图，算法是在图像的金字塔结构式分层的分辨率上操作的，由最精细的分辨率开始计算，逐渐降采样到较粗糙的分辨率，最终综合考虑不同层的计算结果以获得深度图。结合图3所示，在步骤S102中，根据校正后的每一帧图像得到场景的深度信息(也即光场深度计算方法)，具体包括以下步骤：

步骤1：计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜。

具体地说，首先，对于每张对极图像E，计算其边缘置信度C_e用来度量对极图像中哪些部分是边缘部分，而当前分辨率层的深度估计只在这些边缘处进行计算。在本实施例中不需要使用复杂的边缘检测算法，只需要计算每个像素点的局部像素值变化：

其中，N(u,s)是像素点(u,s)的一维邻域窗口，窗口大小设定为9。利用上式计算结果度量E的局部变化，然后将C_e以一定的阈值ε进行二值化，得到二值的边缘置信度掩膜M_e，其中值为1的像素点表示对极图像中的边缘部分。二值化后的掩膜M_e存在很多噪声点，因此使用图像形态学开运算操作去除一些微小的孤立点，具体操作时使用3×3的矩形结构元素对M_e进行先形态学腐蚀后膨胀从而得到修正后的掩膜M_e。

步骤2：根据边缘置信度掩膜计算被标记为置信边缘的像素点的视差值。即利用步骤1中求得的边缘置信度掩膜M_e，计算那些被标记为置信边缘的像素点的视差值。选择需要计算深度图的相机视角坐标s₀，首先计算所有相机中间视角处的视差图，即设定s₀＝n/2，其中n是相机的总数量。由于固定了对极图像E的s坐标，因此算法计算了所有对极图像的第s₀行E_v＝1,2,...(u,s₀)。

其次，对于E(u,s₀)中所有满足M_e(u,s₀)＝1的点进行视差赋值，由于深度与视差之间存在相应的换算关系，本发明的实施例中求取更易表示的视差值。赋值方法是对于每一个像素点，从256种视差假设中选择置信度最高的视差值，在每种视差假设d下按照下述方法计算视差置信度值：

对于当前处理的对极图像E中像素的(u,s₀)以及视差假设d，利用视差值得到该像素点在其他视角图像下的对应位置，由于视差不限于整数，因此所得到的位置不一定是整数坐标点，因此使用线性插值方法采样得到(u,s₀)的相似像素点集合：

R(u,d)＝{E(u+(s₀-s)d,s)|s＝1,...,n}，

其中，n是相机的总数量。使用上式进行像素采样时需要判断采样点是否超出对极图像的范围。合视差假设采样得到的集合中像素的相似程度较高，反之，错误的视差假设会采样到实际场景中完全不相同的一些点，然后使用类似Parzen窗估计密度函数的方法计算相似值可以筛选出合适的视差假设值：

其中，是当前处理像素的像素值，为了提高算法的精度，将扩展为四维数值，在原有的三维RGB像素值的基础上增加一维灰度梯度值。|R(u,d)|表示集合中元素的数量，核函数K(x)可以选择为：

其中，h是表示核函数带宽的参数。算法实际操作时，为了防止当前处理像素是异常值，提高算法的鲁棒性，因此在计算S(u,d)之前按照下式对进行迭代更新：

使用上式迭代10次得到集合S(u,d)的平均像素值用该值代替当前处理像素值计算的S(u,d)对噪声具有较好的鲁棒性，并且将视差值赋为使得S(u,d)值最大的d：

然后，结合像素的边缘信息和S(u,d)信息计算该像素的视差置信度：

其中，使用上式计算的视差置信度结合了两方面信息：原图像中的噪声区域虽然可以得到较高的边缘置信度C_e，但其得到的S(u,d)曲线比较平坦，没有明显的S_max尖峰；而原图像中均匀区域虽然可以得到较明显的S_max，而且边缘置信度C_e较低，这两种情况计算的视差置信度C_d(u,s₀)都较低。在算法中设定合适的阈值，然后舍弃C_d(u,s₀)小于阈值的点估算的视差值得到二值的置信度掩膜M_d。

步骤3：通过联合双边中值滤波对初始视差图进行滤波。

具体地说，为了减少初始视差图中可能出现的噪声，需要对初始视差图进行滤波处理，本实施例中使用一种联合双边中值滤波，相比普通的中值滤波，双边滤波考虑到像素点之间的相似性，可以在有效地保留滤波图像的边缘基础上，最大程度地减少图像中的噪声。具体滤波的方法为：对于所有视差置信度M_d＝1的待滤波像素，选择其空间小邻域中所有和该像素点像素值接近的具有有效视差值的边缘点集合的中位视差值作为其滤波值，具体可以用下式表示：

D_v(u,s₀)＝median{D_v′(u′,s₀)|(u′,v′,s₀)∈N(u,v,s₀),

||E_v(u,s₀)-E_v′(u′,s₀)||<ε,M_d(u′,v′,s₀)＝1}，

其中，N(u,v,s₀)是原始图像中像素点(u,v)的二维窗口邻域，窗口大小设定为9×9，||E_v(u,s₀)-E_v′(u′,s₀)||度量了待滤波像素和其邻域像素的值相似度，ε为设定的阈值，只有相似度小于阈值的邻域像素才会被考虑，此外，所有视差置信度M_d(u′,v′,s₀)＝0的像素点也不会被考虑。

由于滤波时用到了9×9像素空间窗口内的信息，因此算法在具体操作时需要用到9张对极图像的数据，假设当前正在计算深度图的第v行，即处理对极图像E_v，则内存中存在的图像为(E_v-4,...,E_v-1,E_v,E_v+1,...,E_v+4)，处理完v行后，释放图像E_v-4，并且读入图像E_v+5，然后令v＝v+1开始计算下一行深度。因此内存中始终保持有最多9张的对极图像，即算法不需要一次读入所有数据，内存开销并不大。

步骤4：计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值，也即，在更粗糙的分辨率上进一步计算深度。

具体地说，经过上述步骤估算得到了原始图像中边缘置信度较高处所有像素点的视差值，而没有计算的非边缘区域像素点和由于计算得到的视差置信度C_d小于预设阈值而舍弃的像素点的视差则需要在下一层分辨率下进一步计算。具体计算方法如下：

首先，在保持相机数量不变的前提下，对原始图像进行降采样，降采样率设定为1/2以便于计算，只需要对像素点进行隔二取一的操作即可，不需要进行差值。在降采样之前首先需要对原始图像进行滤波，本实施例中使用窗口大小为7×7，滤波核标准差σ²＝0.5的二维高斯滤波。降采样操作于对极图像上之后，使得对极图像的分辨率在u方向减少了一半，s方向保持不变，而v方向即对极图像的数量也减少了一半。

对于降采样之后的对极图像序列，重复步骤1至步骤3的操作，在当前分辨率上同样对于边缘置信度高的点估计视差，并舍弃那些视差置信度低的像素点的视差值待再下一层分辨率中计算。对于已经在上层分辨率中计算得到高置信度视差的像素点，在本层则不再计算。此外，为了提高结果的平滑性、加快计算的效率，在估计当前层像素点的视差时，用距离该像素点最近的左右两个已经在上层计算的可靠像素点的视差值作为该像素点的视差上下界，即限定了视差假设的取值范围。

然后，重复步骤4的前述操作，进一步对图像进行下采样，在更粗糙的分辨率上计算那些尚未得到置信视差值的像素的视差，直到图像的分辨率已经足够小。在本实施例中判断当图像的分辨率在某一维上小于50个像素时不再降采样，而在这一层计算视差值时则对所有尚未有可靠视差值的像素点进行视差赋值而不再考虑其置信度。

步骤5：根据各像素点的视差值生成视差图。

具体地说，经过上述步骤，得到了一组不同分辨率的视差图，每张视差图都记录了对应层分辨率下得到的可靠视差值。从最粗糙的分辨率层的视差图开始，对于其中所有未在本层赋值的像素点，寻找其在下一层分辨率视差图中的对应位置，然后以线性差值的结果作为其视差值。然后逐渐填补更精细层分辨率下视差图中的不置信点的视差，直到最精细分辨率层的视差图也被填补，最后做5×5的双边滤波去除一些噪声得到最终的视差图。

进一步地，在计算得到深度信息之后，还需要进行光场数据存储和多视角视差传播。由于光场数据存在很大的冗余性，原始数据的存储量很大。考虑到对极图像的特征：由一系列直线组成，直线的斜率k和场景点的深度z或视差d相关：

上式中f是成像的焦距，b是相邻相机之间的位移。

对于对极图像E_v计算得到的可靠视差点D_v(u,s₀)，可以使用一个多元数组合来表示其对应的一条直线：

其中，就是前述算法中按照该视差值采样的像素点集合的迭代平均像素值。存储这些直线信息相比直接存储图像信息能够大大减小数据量。

另外，上述步骤中计算了中间视角s₀处的视差图，重复该步骤也可以计算其他视角处视差图，为了减小计算量，可以将中间视角处每层计算的可靠视差值D_v(u,s₀)传播到其余视角的相应层分辨率下，而不需要对这些像素点进行重复计算。具体操作方法为：对于中间视角的一个可靠视差值D_v(u,s₀)，在其对极图像中对应斜率的直线方向上采样像素点，若与像素值接近，即满足则对应像素点的视差也赋为D_v(u,s₀)。可靠视差点在不同视角之间的传播可以提高其他视角下计算视差的效率，同样的，没有被传播赋值的像素并且没有计算出可靠视差值的像素则需要在降采样之后再计算。

步骤S103：根据深度信息和图像序列之间的视差重建场景的三维模型。

综上，本发明实施例的超分辨率光场采集装置的三维重建方法，主要包括多视点图像的几何校正、对极图像序列的生成、场景深度的计算、多视点间深度的传播、深度的分层精细求解以及大规模光场数据的稀疏表示与存储等。

根据本发明实施例的超分辨率光场采集装置的三维重建方法，能够求解出非常精细的场景深度，包括场景中边缘处的深度变化也能精确求解；通过对极图像序列来逐行求解场景的深度的方法，不需要读入所有图像，大大减少深度求解时的内存占用量；并且该方法能够处理采集光场数据中的一些不可避免的异常点的情况，具有非常高的鲁棒性。此外，该方法相比图像分割等传统方法效率大大提高，能够求解上亿像素的大规模光场。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种超分辨率光场采集装置，其特征在于，包括：

相机；

球透镜，所述球透镜位于所述相机的前方，所述相机透过所述球透镜进行图像采集；

球透镜驱动装置，所述球透镜驱动装置用于驱动所述球透镜在水平和/或竖直方向移动，其中，所述球透镜驱动装置包括：

支架，所述支架的一端与所述球透镜相连，以支撑所述球透镜，

水平步进电机和竖直步进电机，所述水平步进电机和竖直步进电机分别与所述支架的另一端相连，所述水平步进电机用于驱动所述支架在水平方向移动，所述竖直步进电机用于驱动所述支架在竖直方向移动；

控制器，所述控制器分别与所述相机和所述球透镜驱动装置相连，以控制所述相机的采集以及对所述球透镜驱动装置进行控制。

2.一种基于如权利要求1所述的超分辨率光场采集装置的三维重建方法，其特征在于，包括以下步骤：

控制所述球透镜移动，并通过所述相机进行多视角的图像采集，以得到采集的图像序列；

对所述图像序列中每一帧进行校正，并根据校正后的每一帧图像得到场景的深度信息，其中，所述对所述图像序列中每一帧图像进行校正，进一步包括：

校正每一帧图像的镜头畸变，并估计所有相机的位置参数，以确定一条距离所有相机中心的垂直距离最小的基线，并使每一帧图像以该所述基线为基准作相应的校正；

根据所述深度信息和所述图像序列之间的视差重建所述场景的三维模型。

3.根据权利要求2所述的超分辨率光场采集装置的三维重建方法，其特征在于，所述根据校正后的每一帧图像得到场景的深度信息，进一步包括：

计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜；

根据所述边缘置信度掩膜计算被标记为置信边缘的像素点的视差值；

通过联合双边中值滤波对初始视差图进行滤波；

计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；

根据各像素点的视差值生成视差图。