CN108322730A - 一种可采集360度场景结构的全景深度相机系统 - Google Patents

Abstract

本发明公开了一种可采集360度场景结构的全景深度相机系统，其特征在于：在一周范围内放置八个鱼眼镜头相机，能够一次采集周围360度空间内的物体，根据场景范围远近适当选择基线长度。由于采用了上述技术方案，本发明的有益效果是：1.与主动探测式深度相机不同，该方案在室外依然能够正常工作。2.根据后期算法，相机可以提供360度三维场景结构，可应用于无缝全景图片合成，三维测量，三维建模等领域。3.因为多重投影约束，能够提高视觉三维重建的抗噪声能力，提高系统鲁棒性。4.能够同时拍摄得到360度空间的三维物体，不需要分多次扫描合成，因此提高了系统的拍摄效率。

Description

一种可采集360度场景结构的全景深度相机系统

技术领域

本发明涉及一种虚拟现实领域，具体为一种可采集360度场景结构的全景深度相机系统。

背景技术

现在虚拟现实(Virtual Reality)市场火热。其中，全景视频因为制作成本低，周期短的优点，成为了VR市场最快落地的产品之一。全景视频的制作流程通常是首先采用多个摄像机(大于等于2个)同时对场景进行拍摄，然后再对多个摄像机拍摄的照片或视频进行后期拼接，得到一副360x180度的全景画面。用户端通过VR头盔进行观看时，可以任意转动头部角度，以获得整个场景的视觉内容。

目前市面上拍摄全景的方案中，由于无法获取所拍摄场景的三维结构，在其全景图片合成的算法模型中，通常假设拍摄场景为一个平面，再将所有相机画面投射到一个公共球面上进行拼合。然而，这样做会带来如下问题：

由于相机无法获取场景三维结构，当所拍摄物体在图片缝合处不在一个平面时，会导致在缝合处图像出现虚影，物体不完整，物体无法对齐等现象，也即导致了″拼缝″的出现，采用这种方式拼接的图像可以明显看到，当缝合处存在前后景关系时，会导致″拼缝″出现。

因此，若要从理论上完全消除接缝的存在，则必须要获取真实空间的三维结构，即场景的″深度″。

现在普遍采用两种方案。1.采用专门的深度相机，深度相机能够在获得二维图像的基础上同时得到每个位置对应的深度值。2.采用双目视觉原理(如图 1所示)，在基座上并排放置两个相机，两个相机之间有一定的水平间距，此间距被称为基线长度，因为两个相机视角的差异外界的同一个物体在两个相机上的投影会稍有不同，根据在两个相机上物体投影形成的视差即可以去推测三维物体的几何位置。现有解决方案的缺点：

1.如果采用主动探测式深度相机，深度相机的工作距离固定，工作视角小，要完成360度空间的建模需要多次扫描完成，并且因为深度相机的工作原理导致如果在室外会受到各种干扰无法正常工作，因此大部分都用于室内。

2.如果是双目相机(如图1所示)，现有解决方案一般都是并排放置两个普通视场角镜头，因此工作视角小。并且如果用两个相机对三维空间的测量会导致空间约束不够，因此会很容易受到噪声干扰影响导致三维重建精度不足。

发明内容

针对上述两种方案的不足，为实现对三维空间的高效高精度视觉建模，需要一种工作视角大、重建精度高、适用范围广的技术方案，即为一种可采集 360度场景结构的全景深度相机系统。

本发明采用的技术方案如下：一种可采集360度场景结构的全景深度相机系统，其特征在于：该系统基座分四个面，每个面上并排放置两个鱼眼镜头相机(俯视图如图2所示)，两个鱼眼镜头之间的距离为基线长度，相当于在系统的四个面上总共放置了八个鱼眼镜头相机，能够一次采集周围360度空间内的物体，根据场景范围远近和建模精度的要求可以适当选择基线长度。

本发明所述在一周范围内放置八个鱼眼镜头相机，单个鱼眼镜头的视场角能够达到190度。因此对于空间中的一个物体，能够被两个、三个甚至四个相机同时观测到。对于能够同时被三个或四个相机观测到的物体，其基线长度取决于两两之间的基线最长者。因此在保证近处物体重建成功的前提下，该相机布置方案能够有效提高基线长度，从而提高了物体的重建精度。此外，因为有多个相机同时观测到，相当于增加了空间物体的重建约束，因此也能够提高抗噪声干扰能力，增加系统鲁棒性。

本发明所述在一周范围内放置八个鱼眼镜头相机，能够一次采集周围360 度空间内的物体。采用鱼眼镜头的好处是可以大幅减少使用相机数量，增加每个相机之间的重合区域来增加三维结构的投影约束，从而提高抗噪声干扰能力，提高三维重建的精度。

本发明所述根据场景范围远近适当选择基线长度，是因为在采用双目视觉原理进行三维重建时，物体的重建精度受限于两个相机之间的基线长度，基线越长，三维重建精度越高。但基线过长，两个相机对近处的物体投射角度偏差越大，就会更大可能性出现匹配失败导致近处物体重建失败。

本发明所述深度摄像头相机布置方案(在一周范围内放置八个鱼眼镜头相机)确定后，下面给出获取全景深度图像的流程；其特征在于方法步骤如下：

(1)通过对外界物体的拍摄，对八个相机进行标定，确定每个相机的内参包括鱼眼镜头主点坐标(cx，cy)，鱼眼镜头畸变参数k_c＝(k₁，k₂，k₃)，同时也确定每个相机之间外参，包括相机坐标系针对世界坐标系的旋转矩阵R_i，相机在世界坐标系中的位置T_i；其中，三维空间点P＝(x，y，z)与第i个相机的图像坐标 p_i＝(u，v)的关系由公式(1)～(4)给出；

则表示P在相机i坐标系下的空间点坐标，令则其入射角为：

根据相机畸变模型，其对应的图像像素在图像中的半径为：

r＝k₁*θ+k₂*θ³+k₃*θ⁵ (3)

则图像坐标可以由下式得出：

(2)根据上一步标定所得各相机内外参数，利用每一个朝向的一对立体相机拍摄得到的图像进行立体匹配，得到八张稠密的像素深度图像其值表示图像中的每一个像素距离相机光心的距离，以毫米为单位；

(3)在(2)的基础上，通过对每一张相机图像拍摄所得的图像进行Mean- shift图像分割，再将分割所得的每一个区域假设为3D空间中的一个平面，通过对进行平面拟合，优化所得到的深度图

(4)在(3)的基础上，对每张深度图上的像素所对应的空间坐标 P＝(x，y，z)，利用其他相机的约束，最小化P的重投影误差d，消除噪声干扰带来的影响，得到深度图像D_i；其理论是，多个相机恢复出的各自的深度图像，其对于空间的描述应当具有一致性；即：理想情况下，相机j中的像素投影到相机i中，通过查询相机i中对应像素的深度，其应当和j具有相同的空间位置；通过公式(1)～(4)，定义p_i＝prj(P，i)为将空间点P投影到图像i中所得到的图像坐标，P＝bprj(p_i，i)为将图像像素p_i投影到空间中所得的坐标；

则对于图像j中的像素p_j＝(u_j，v_j)，其对应的空间坐标为P_j，到图像i中的像素的重投影误差可由公式(5)～(8)表示：

p_i＝prj(P_j，i) (5)

P′_i＝bprj(p_i，i) (6)

p′_j＝prj(P′_i，j) (7)

d＝||P_j-P′_j||₂ (8)

(5)在(4)的基础上，对八张深度图像D_i进行合成，得到全景深度图像，再通过全景深度图像和多频带融合(Multi-band Blending)，得到最终的全景图像。

由于采用了上述技术方案，本发明的有益效果是：1.与主动探测式深度相机不同，该方案在室外依然能够正常工作。2.根据后期算法，相机可以提供 360度三维场景结构，可应用于无缝全景图片合成，三维测量，三维建模等领域。3.因为多重投影约束，能够提高视觉三维重建的抗噪声能力，提高系统鲁棒性。4.能够同时拍摄得到360度空间的三维物体，不需要分多次扫描合成，因此提高了系统的拍摄效率。

附图说明

图1为本发明背景技术中的普通双目相机结构示意图。

图2为本发明提出的双目视觉原理全景深度相机布置俯视示意图。

具体实施方式

本发明是这样来工作和实施的，采用我们的深度相机方案，通过在一周范围内放置八个鱼眼镜头相机，单个鱼眼镜头的视场角能够达到190度。因此对于空间中的一个物体，能够被两个、三个甚至四个相机同时观测到。对于能够同时被三个或四个相机观测到的物体，其基线长度取决于两两之间的基线最长者。因此在保证近处物体重建成功的前提下，该相机布置方案能够有效提高基线长度，从而提高了物体的重建精度。此外，因为有多个相机同时观测到，相当于增加了空间物体的重建约束，因此也能够提高抗噪声干扰能力，增加系统鲁棒性。

通过上述解释和相机结构方案示意图不难看出，我们采用的深度摄像头相机布置能够有效提高视觉三维重建效果。

深度摄像头相机布置方案确定后，下面给出获取全景深度图像的流程。

1.通过对外界物体的拍摄，对八个相机进行标定，确定每个相机的内参包括鱼眼镜头主点坐标(cx，cy)，鱼眼镜头畸变参数k_c＝(k₁，k₂，k₃)，同时也确定每个相机之间外参，包括相机坐标系针对世界坐标系的旋转矩阵R_i，相机在世界坐标系中的位置T_i。其中，三维空间点P＝(x，y，z)与第i个相机的图像坐标 p_i＝(u，v)的关系由公式(1)～(4)给出。

则表示P在相机i坐标系下的空间点坐标，令则其入射角为：

根据相机畸变模型，其对应的图像像素在图像中的半径为：

r＝k₁*θ+k₂*θ³+k₃*θ⁵ (3)

则图像坐标可以由下式得出：

2.根据上一步标定所得各相机内外参数，利用每一个朝向的一对立体相机拍摄得到的图像进行立体匹配，得到八张稠密的像素深度图像其值表示图像中的每一个像素距离相机光心的距离，以毫米为单位。

3.在2的基础上，通过对每一张相机图像拍摄所得的图像进行Mean-shift 图像分割，再将分割所得的每一个区域假设为3D空间中的一个平面，通过对进行平面拟合，优化所得到的深度图

4.在3的基础上，对每张深度图上的像素所对应的空间坐标P＝(x，y，z)，利用其他相机的约束，最小化P的重投影误差d，消除噪声干扰带来的影响，得到深度图像D_i。其理论是，多个相机恢复出的各自的深度图像，其对于空间的描述应当具有一致性。即：理想情况下，相机j中的像素投影到相机i中，通过查询相机i中对应像素的深度，其应当和j具有相同的空间位置。通过公式(1)～(4)，定义p_i＝prj(P，i)为将空间点P投影到图像i中所得到的图像坐标，P＝bprj(p_i，i)为将图像像素p_i投影到空间中所得的坐标。

则对于图像j中的像素p_j＝(u_j，v_j)，其对应的空间坐标为P_j，到图像i中的像素的重投影误差可由公式(5)～(8)表示：

p_i＝prj(P_j，i) (5)

P′_i＝bprj(p_i，i) (6)

p′_j＝prj(P′_i，j) (7)

d＝||p_j-p′_j||₂ (8)

5.在4的基础上，对八张深度图像D_i进行合成，得到全景深度图像，再通过全景深度图像和多频带融合(Multi-band Blending)，得到最终的全景图像。

根据上述方案，就能够充分利用其它相机的约束对物体空间位置进行约束，获取到场景稠密三维结构，从而拼接出″无缝″全景图片。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种可采集360度场景结构的全景深度相机系统，该系统基座分四个面，每个面上并排放置两个鱼眼镜头相机，两个鱼眼镜头之间的距离为基线长度，其特征在于：即在系统的四个面上总共放置了八个鱼眼镜头相机，能够一次采集周围360度空间内的物体，根据场景范围远近和建模精度的要求可以适当选择基线长度。

2.根据权利要求1所述的一种可采集360度场景结构的全景深度相机系统，其特征在于：所述在一周范围内放置八个鱼眼镜头相机通过，单个鱼眼镜头的视场角能够达到190度；对于空间中的一个物体，能够被两个、三个甚至四个相机同时观测到。对于能够同时被三个或四个相机观测到的物体，其基线长度取决于两两之间的基线最长者。

3.根据权利要求1所述的一种可采集360度场景结构的全景深度相机系统，其特征在于：所述深度摄像头相机布置方案确定后，下面给出获取全景深度图像的流程；方法步骤如下：

(1)通过对外界物体的拍摄，对八个相机进行标定，确定每个相机的内参包括鱼眼镜头主点坐标(cx，cy)，鱼眼镜头畸变参数k_c＝(k₁，k₂，k₃)，同时也确定每个相机之间外参，包括相机坐标系针对世界坐标系的旋转矩阵R_i，相机在世界坐标系中的位置T_i；其中，三维空间点P＝(x，y，z)与第i个相机的图像坐标p_i＝(u，v)的关系由公式(1)～(4)给出；

则表示P在相机i坐标系下的空间点坐标，令则其入射角为：

根据相机畸变模型，其对应的图像像素在图像中的半径为：

r＝k₁*θ+k₂*θ³+k₃*θ⁵ (3)

则图像坐标可以由下式得出：

(2)根据上一步标定所得各相机内外参数，利用每一个朝向的一对立体相机拍摄得到的图像进行立体匹配，得到八张稠密的像素深度图像其值表示图像中的每一个像素距离相机光心的距离，以毫米为单位；

(3)在(2)的基础上，通过对每一张相机图像拍摄所得的图像进行Mean-shift图像分割，再将分割所得的每一个区域假设为3D空间中的一个平面，通过对进行平面拟合，优化所得到的深度图

(4)在(3)的基础上，对每张深度图上的像素所对应的空间坐标P＝(x，y，z)，利用其他相机的约束，最小化P的重投影误差d，消除噪声干扰带来的影响，得到深度图像D_i；其理论是，多个相机恢复出的各自的深度图像，其对于空间的描述应当具有一致性；即：理想情况下，相机j中的像素投影到相机i中，通过查询相机i中对应像素的深度，其应当和j具有相同的空间位置；通过公式(1)～(4)，定义p_i＝prj(P，i)为将空间点P投影到图像i中所得到的图像坐标，P＝bprj(p_i，i)为将图像像素p_i投影到空间中所得的坐标；

则对于图像j中的像素p_j＝(u_j，v_j)，其对应的空间坐标为P_j，到图像i中的像素的重投影误差可由公式(5)～(8)表示：

p_i＝prj(P_j，i) (5)

P′_i＝bprj(p_i，i) (6)

p′_j＝prj(P′_i，j) (7)

d＝||p_j-p′_j||₂ (8)

(5)在(4)的基础上，对八张深度图像D_i进行合成，得到全景深度图像，再通过全景深度图像和多频带融合(Multi-band Blending)，得到最终的全景图像。