CN108564617A - 多目相机的三维重建方法、装置、vr相机和全景相机 - Google Patents

Abstract

本发明适用于计算机视觉领域，提供了一种多目相机的三维重建方法、装置、VR相机和全景相机。所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。本发明可以为点云提供具体真实的物理尺度，且VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。

Description

多目相机的三维重建方法、装置、VR相机和全景相机

技术领域

本发明属于计算机视觉领域，尤其涉及一种多目相机的三维重建方法、装置、VR相机和全景相机。

背景技术

现有技术对机器人的定位和导航，通常利用基于普通镜头的多目相机采集图像，然后通过SFM(Structure From Motion，运动恢复结构)算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。

发明内容

本发明的目的在于提供一种多目相机的三维重建方法、装置、计算机可读存储介质、VR相机和全景相机，旨在解决基于普通镜头的多目相机采集的图像进行三维重建的鲁棒性较差的问题。

第一方面，本发明提供了一种多目相机的三维重建方法，所述方法包括：

获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

第二方面，本发明提供了一种多目相机的三维重建装置，所述装置包括：

视频获取模块，用于获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

关键帧提取模块，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

三维重建模块，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多目相机的三维重建方法的步骤。

第四方面，本发明提供了一种VR相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。

第五方面，本发明提供了一种全景相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。

在本发明中，由于根据多目相机在移动过程中每个摄像头拍摄的视频进行三维重建，因此可以为点云提供具体真实的物理尺度，可以提供一下需要真实尺度的应用，比如测距、测量体积等。又由于多目相机是包括至少两个摄像头的VR相机或者全景相机，因此相比普通镜头的三维重建，VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。又由于对所有摄像头拍摄的视频同时提取关键帧，根据所有摄像头拍摄的视频对应的关键帧做三维重建，因此处理的数据量大大减少，另外，两个关键帧对应的相机位置距离越大，对点云的计算精度越有利。

附图说明

图1是本发明实施例一提供的多目相机的三维重建方法的流程图。

图2是本发明实施例一提供的多目相机的三维重建方法中，多目相机的示意图。

图3是本发明实施例二提供的多目相机的三维重建装置的功能模块框图。

图4是本发明实施例三提供的VR相机/全景相机的具体结构框图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的多目相机的三维重建方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的多目相机的三维重建方法并不以图1所示的流程顺序为限。

S101、获取多目相机在移动过程中每个摄像头拍摄的视频。

在本发明实施例一中，多目相机可以是包括至少两个摄像头的VR相机或者全景相机，如图2所示的多目相机包括呈圆环状等间距排列的6个摄像头，当然也可以包括3、4、5、8个，甚至8个以上的摄像头。VR相机和全景相机通常采用的镜头是鱼眼镜头或者广角镜头。

在本发明实施例一中，S101具体可以为：获取多目相机在移动过程中每个摄像头对静态场景分别拍摄的视频。

S102、对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正。

在本发明实施例一中，S102之前，所述方法还包括以下步骤：

预先对多目相机的每个摄像头做摄像头内参数及摄像头外参数的标定，获取每个摄像头的相机矩阵和畸变系数。具体为：多目相机的每个摄像头从不同姿态去拍摄棋盘格图片，提取棋盘格角点，根据棋盘格角点标定每个摄像头的相机矩阵、畸变系数及摄像头外参数。

在本发明实施例一中，S102具体可以包括以下步骤：

对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；

对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同。

S102具体也可以包括以下步骤：

对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；

对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。

关键帧可以通过以下方式提取：

将每个摄像头拍摄的视频的第1帧图像作为关键帧；

用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：

用单应性矩阵拟合匹配点的平均误差大于预设数量的像素，例如5个；

用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比，例如20％；和

用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值，例如第一预设值为1.2，第二预设值为0.8。

S103、根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态。

在本发明实施例一中，S103具体可以为：根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。

在本发明实施例一中，S103具体可以包括以下步骤：

将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；

提取所有关键帧的角点，用ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法)描述子描述角点；

匹配任意两个关键帧，用单应性矩阵(homography matrix)或基础矩阵(fundamental matrix)约束匹配点，剔除误匹配点(例如用RANSAC方法剔除误匹配点)；选择单应性矩阵或基础矩阵的依据是满足哪个矩阵的匹配点数更多就选择哪个矩阵；

优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机矩阵计算本质矩阵(essential matrix)，从本质矩阵中分解出四对相机姿态(R，t)，其中，R表示旋转矩阵，t表示平移向量，用四对相机姿态(R，t)将匹配点的三维坐标解算出四组点云；

将在两个摄像头的前方的一组点云对应的相机姿态(R，t)作为正确的相机姿态(R，t)；

将正确的相机姿态(R，t)和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；

利用光束平差法(Bundle Adjustment，BA)做优化，将零系中的所有三维点，根据每个关键帧的相机姿态(R，t)投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态(R，t)(例如用LM(Levenberg-Marquardt)算法)，多次迭代(例如迭代100次就足够达到收敛的次数，通常情况下十几次或几十次就收敛了)，将投影误差降到最小。

S104、获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

在本发明实施例一中，S104具体可以包括以下步骤：

对于所有三维点，若能够投影到相邻的两个摄像头，则计算点云到摄像头的距离与这两个摄像头的平移量||t||的比例，记为k，假设有n个三维点能投影到相邻的两个摄像头上，则有k₁，k₂......k_n共n个比例值；

对k₁，k₂......k_n进行排序，取排序后的中间值，记为k_m；

测量相邻两个摄像头的物理距离，记作d，则点云的真实尺度为：P′＝dk_mP，其中P＝(X，Y，Z)，为点云尺度未确定的坐标，P′＝(X′，Y′，Z′)为点云尺度确定后的物理坐标。

请参阅图2，P点到一个摄像头的像素距离为L1(无单位)，两个摄像头的像素距离为t(无单位)，两个摄像头的物理距离为d(有单位，可以是cm，m等具体物理单位)。L₁与||t||的比例为k，即P点的像素坐标为(X，Y，Z)从匹配点解算得到，则带尺度的物理坐标为(X′，Y′，Z′)＝(kX，kY，kZ)。

实施例二：

请参阅图3，本发明实施例二提供的多目相机的三维重建装置包括：

视频获取模块11，用于获取多目相机在移动过程中每个摄像头拍摄的视频；

关键帧提取模块12，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

三维重建模块13，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

点云处理模块14，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

本发明实施例二提供的多目相机的三维重建装置及本发明实施例一提供的多目相机的三维重建方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

实施例三：

本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的多目相机的三维重建方法的步骤。

实施例四：

图4示出了本发明实施例四提供的VR相机/全景相机的具体结构框图，一种VR相机/全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的多目相机的三维重建方法的步骤。

在本发明中，由于根据多目相机在移动过程中每个摄像头拍摄的视频进行三维重建，因此可以为点云提供具体真实的物理尺度，可以提供一下需要真实尺度的应用，比如测距、测量体积等。又由于多目相机是包括至少两个摄像头的VR相机或者全景相机，因此相比普通镜头的三维重建，VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。又由于对所有摄像头拍摄的视频同时提取关键帧，根据所有摄像头拍摄的视频对应的关键帧做三维重建，因此处理的数据量大大减少，另外，两个关键帧对应的相机位置距离越大，对点云的计算精度越有利。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种多目相机的三维重建方法，其特征在于，所述方法包括：

获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

2.如权利要求1所述的方法，其特征在于，所述获取多目相机在移动过程中每个摄像头拍摄的视频具体为：获取多目相机在移动过程中每个摄像头对静态场景分别拍摄的视频。

3.如权利要求1所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正之前，所述方法还包括：

预先对多目相机的每个摄像头做摄像头内参数及摄像头外参数的标定，获取每个摄像头的相机矩阵和畸变系数。

4.如权利要求3所述的方法，其特征在于，所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：

对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；

对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；

或者，

所述对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正具体包括：

对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；

对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。

5.如权利要求1所述的方法，其特征在于，关键帧可以通过以下方式提取：

将每个摄像头拍摄的视频的第1帧图像作为关键帧；

用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：

用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；

用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；和

用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。

6.如权利要求1所述的方法，其特征在于，所述根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态具体为：

根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。

7.如权利要求1所述的方法，其特征在于，所述根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态具体包括：

将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；

提取所有关键帧的角点，用ORB描述子描述角点；

匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点；

优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态(R，t)，利用基础矩阵和摄像头的相机矩阵计算本质矩阵，从本质矩阵中分解出四对相机姿态(R，t)，其中，R表示旋转矩阵，t表示平移向量，用四对相机姿态(R，t)将匹配点的三维坐标解算出四组点云；

将在两个摄像头的前方的一组点云对应的相机姿态(R，t)作为正确的相机姿态(R，t)；

将正确的相机姿态(R，t)和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；

利用光束平差法做优化，将零系中的所有三维点，根据每个关键帧的相机姿态(R，t)投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态(R，t)，多次迭代。

8.如权利要求1所述的方法，其特征在于，所述获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度具体包括：

对于所有三维点，若能够投影到相邻的两个摄像头，则计算点云到摄像头的距离与这两个摄像头的平移量||t|的比例，记为k，假设有n个三维点能投影到相邻的两个摄像头上，则有k₁，k₂......k_n共n个比例值；

对k₁，k₂......k_n进行排序，取排序后的中间值，记为k_m；

测量相邻两个摄像头的物理距离，记作d，则点云的真实尺度为：P′＝dk_mP，其中P＝(X，Y，Z)，为点云尺度未确定的坐标，P′＝(X′，Y′，Z′)为点云尺度确定后的物理坐标。

9.一种多目相机的三维重建装置，其特征在于，所述装置包括：

视频获取模块，用于获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；

关键帧提取模块，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；

三维重建模块，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；

点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的多目相机的三维重建方法的步骤。

11.一种VR相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的多目相机的三维重建方法的步骤。

12.一种全景相机，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的多目相机的三维重建方法的步骤。