CN109428987A - 一种头戴式全景360度立体摄像装置及摄像处理方法 - Google Patents

Abstract

本发明提供一种头戴式全景360度立体摄像装置及摄像处理方法，装置包括水平摄像头、头圈、水平摄像头支架、鱼眼摄像头及鱼眼摄像头支架；所述装置具有固定水平摄像头支架及鱼眼摄像头支架;所述头圈可调节大小以适应使用者的头型及尺寸。采用上述方案，1、采用头戴式设计，方便佩戴，便于随时随地拍摄，加装头顶摄像头，与水平环状辐射式安装的摄像头组一起，实现360°+180°的全景摄像效果。2、分布式的存储处理方案，避免高清晰度下视频传输的瓶颈问题。3、通过模拟左、右眼产生两路图像或视频信号，当双眼分别获得不同的两路信号输入后，利用人眼视差原理，产生全景立体图或视频效果，实现全景立体功能。

Description

一种头戴式全景360度立体摄像装置及摄像处理方法

技术领域

本发明属技术领域，尤其涉及的是一种头戴式全景360度立体摄像装置及摄像处理方法。

背景技术

传统的单眼全景360度摄像机，一般采用双鱼眼摄像头，在鱼眼照片基础之上拼合得到的图像，通过软件处理之后得到的360实景，保留了场景的真实性，对虚拟现实的普及有一定的意义，其拍摄的视频，虽然可以全面的展示360度球型范围内的景致，但缺少立体效果，对沉浸感要求较高的场合还是显得力不从心。

现有技术中，为了实现360度立体效果，有两种实现方式：

1、采用双目摄像头，沿着环形轨道运动，通过环形扫描的方式获取360都的立体视频。这种方案拍摄的立体视频是分时采集的，无法同一时刻采集360全景立体图像，因此一般适合拍摄静态场景，而不适合虚拟现实应用中要求还原动态场景的需求。而且这种全景立体摄像机系统复杂，无法便携拍摄。

2、采用多摄像头同时获取左右眼的视频数据进行后期处理，因此也出现了数十个摄像头组成的阵列进行立体拍摄，虽然解决了同时拍摄的问题，但要求高速数据传输及采集设备，价格高昂，且整体体积也非常庞大不利于携带。

现有技术主要缺点是：1、鱼眼摄像头拍摄的全景视频是单目成像的，没有立体效果；2、双目环形轨道拍摄的立体摄像机，无法实时全景拍摄，而且系统复杂，无法便携拍摄；3、目前国外已有的多摄像头立体摄像头方案价格昂贵，体积庞大，不利于携带。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种头戴式全景360度立体摄像装置及摄像处理方法。

本发明的技术方案如下：

一种头戴式全景360度立体摄像装置，其中，包括：水平摄像头组、头圈、水平摄像头支架、鱼眼摄像头及鱼眼摄像头支架；所述水平摄像头支架用于固定水平摄像头组及鱼眼摄像头支架，并用于使用者头部佩戴时的固定；所述头圈可改变大小，用于使用者佩戴时的辅助调节。

上述中，在水平方向采用8-16个呈径向均匀排列的由水平摄像头组成的摄像头组，每个水平摄像头之间的最大间距为65mm。

上述中，所述水平摄像头支架，沿圆周方向均匀排列；所述鱼眼摄像头支架设置在头圈的中部上方，鱼眼摄像头支架上固定有鱼眼摄像头，鱼眼摄像头的光轴与水平面垂直，其鱼眼摄像头的视场角与水平摄像头组的视场角叠加应不小于180度。

上述中，所述水平摄像头组，用于将采集的图像或视频与鱼眼摄像头采集的图像或视频，合成全景的图像或视频。

上述中，还包括控制模块和信号处理模块，控制模块用于控制各水平摄像头组及鱼眼摄像头的同步拍摄，以确保图像或视频每帧在同一时刻采集，所有像素对应于同一场景；信号处理模块用于控制各水平摄像头及鱼眼摄像头的数据压缩、存储及传输及实现全景图像的拼接以及立体画面呈现。

本发明还提供一种头戴式全景360度立体摄像处理方法，其中，具体步骤如下：

步骤1：分别获取水平摄像头组及鱼眼摄像头的图像数据；

步骤2：校正水平摄像头组中各个摄像头及鱼眼摄像头的内部参数，去除由于镜头畸变并补偿各个镜头之间的方向偏差；由同步信号驱动水平摄像头组及鱼眼摄像头，将采集的图像/视频数据进行存储后，先将水平摄像头组的所有的图像进行拼接；再将鱼眼摄像头的图像拼接融入；

步骤3，进行等矩形投影后，从而获取全景图像。

上述步骤2中的校正是指获取水平摄像头组中各个摄像头及鱼眼摄像头的内部参数及畸变参数，以及各水平摄像头间及与鱼眼摄像头之间包括距离、夹角的相互位置关系的外部参数，用于后续计算中去除镜头畸变并补偿各个镜头之间的方向偏差;上述步骤2中的拼接是指将水平摄像头组的所有的图像进行拼接，相邻水平摄像头获取的图像（33）和图像（34），拼接为图像（35）；拼接的处理过程利用镜头存在视场交迭，图像（33）和图像（34）存在部分相同区域，对此区域的图像分别提取特征点，进行匹配，以此计算出相应几何变换参数，以一张作为参照，另一张进行变换，完成两者最终的拼接；依次进行可得到水平方向的全景图，最后将顶部图像叠加后可得到全景360度+180度的全景图。所述特征点，在选取时使用SIFT算法，找到具有局部尺度大小、旋转、亮度变化不变性的关键特征点，上述中具有局部尺度大小、旋转、亮度变化的关键特征均具有较强的抗噪声特性，在相邻图中找到其对应关键特征点进行匹配；在匹配过程中，使用RANSACE算法，在满足设定的阈值条件下，去除偏差较大的特征点，利用最终确定的匹配特征点，计算出两图匹配的变换参数，以一张作为参考图，另一张通过计算出的参数得到变换后的匹配图后拼接；对应重合的部分，采用线性加权算法，使得拼接部分的像素的色彩和相邻未拼接部分更接近一致。

所述步骤2中，将水平摄像头组的所有的图像进行拼接；再将鱼眼摄像头的图像拼接融入的具体步骤是：在水平全景图拼接过程中，将各部分图像先转化为柱面坐标进行拼接，以避免因各摄像头存在的成像面夹角直接拼接到某一参考平面时，因保留其夹角信息的所做的变换导致边缘部分的扩展；图像（31）为转换的圆柱形坐标轴心，图像（32）转换为投影到的柱面坐标面，图（33）、图像（34）在投影后，经拼接、融合，得到图像（35）；将水平摄像机组中，同一时刻摄取的图像经上述过程处理后，便得到了柱面坐标系下的水平全景图；完成水平全景图像拼接后，再转换到球面坐标系，与鱼眼摄像头的图像完成拼接。

所述步骤3中，等矩形投影是将球面坐标系变换为直角坐标系，从而将球面图全景图展开为矩形的全景图；等矩形投影变换是将球面坐标的极角（与坐标轴的夹角）值θ、φ，通过函数变换φ=atan2(z,x). θ=atan2(y,x) ，转换为直角坐标系的坐标值。

采用上述方案，1、采用头戴式设计，方便佩戴，便于随时随地拍摄，加装头顶摄像头，与水平环状辐射式安装的摄像头组一起，实现360°+180°的全景摄像效果。2、分布式的存储处理方案，避免高清晰度下视频传输的瓶颈问题。3、通过模拟左、右眼产生两路图像或视频信号，当双眼分别获得不同的两路信号输入后，利用人眼视差原理，产生全景立体图或视频效果，实现全景立体功能。

附图说明

图1为本发明立体摄像装置正面的结构示意图。

图2为本发明立体摄像装置的俯视结构示意图。

图3为本发明中圆柱投影示意图。

图4为本发明中球面等矩形投影示意图。

图5为本发明利用的双目立体成像的原理示意图。

图6 为本发明的流程图

图7为本发明的立体摄像装置的侧面结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

实施例1

如图1、图2、图7所示，本发明提供一种头戴式全景360度立体摄像装置，包括：水平摄像头组1、头圈2、水平摄像头支架3、鱼眼摄像头4及鱼眼摄像头支架5；所述水平摄像头支架3除固定水平摄像头组及鱼眼摄像头支架外，也用于使用者佩戴时的固定；所述头圈2作为固定的辅助件，可调节大小，以适应使用者头型及尺寸，达到最佳的固定效果及舒适度。本发明在水平方向采用8-16个呈径向均匀排列的由水平摄像头1组成的摄像头组，每个水平摄像头1之间的最大间距以65mm间距为参照（成年人双眼瞳孔平均间距），沿圆周方向均匀排列在水平摄像头支架3；并且鱼眼摄像头支架5设置在头圈2的中部上方，鱼眼摄像头支架5上固定有鱼眼摄像头4，鱼眼摄像头4的光轴与水平面垂直，其鱼眼摄像头4的视场角与水平摄像头组的视场角叠加应不小于180度。水平方向的摄像头组，用于采集的图像或视频与鱼眼摄像头4采集的图像或视频，合成全景的图像或视频。每个水平摄像头1鱼眼摄像头4及都配备了存储卡，可以分布式存储原始或压缩的图像或视频，避免高清晰度下视频传输的瓶颈问题。并且水平摄像头1可根据使用要求由8-16个摄像头组成。

实施例2

在上述实施例的基础上，本发明头戴式360度立体摄像装置，还包括控制模块和信号处理模块，控制模块用于控制各水平摄像头1及鱼眼摄像头4的同步拍摄，以确保图像或视频每帧在同一时刻采集，所有像素对应于同一场景；控制模块还用于完成信号处理模块功能之外的其它操作；信号处理模块用于控制各水平摄像头1及鱼眼摄像头4的数据压缩、存储及传输；实现全景图像的拼接以及立体画面呈现。

实施例3

如图3、图4及图5、图6所示，在上述实施例的基础上，本发明还提供一种头戴式全景360度立体摄像处理方法，具体步骤如下：

步骤1：分别获取水平摄像头组及鱼眼摄像头的图像数据；

步骤2：校正水平摄像头组1中各个摄像头及鱼眼摄像头4的内部参数，去除由于镜头畸变并补偿各个镜头之间的方向偏差；由同步信号驱动水平摄像头组1及鱼眼摄像头4，将采集的图像/视频数据进行存储后，先将水平摄像头组的所有的图像进行拼接；将鱼眼摄像头的图像拼接融入；

步骤3，进行等矩形投影后，从而获取全景图像。

上述步骤2中的校正是指获取水平摄像头组中各个摄像头及鱼眼摄像头的内部参数及畸变参数，以及各水平摄像头间及与鱼眼摄像头之间包括距离、夹角的相互位置关系的外部参数，用于后续计算中去除镜头畸变并补偿各个镜头之间的方向偏差。所述拼接是指，将水平摄像头组的所有的图像进行拼接，如图3所示， 相邻水平摄像头获取的图像33和34，拼接为图像35。拼接的过程利用镜头存在视场交迭，成像33和34存在部分相同区域，对此区域的图像分别提取特征点，进行匹配，以此计算出相应几何变换参数，以一张作为参照，另一张进行变换，完成两者最终的拼接。依次进行可得到水平方向的全景图，顶部图像叠加后可得到全景360度+180度的全景图。

特征点选取时使用SIFT（Scale-invariant feature transform 尺度一致性变换）算法，找到具有局部尺度大小、旋转、亮度变化不变性的关键特征点，上述中具有局部尺度大小、旋转、亮度变化的关键特征均具有较强的抗噪声特性，在相邻图中找到其对应关键特征点进行匹配。在匹配过程中，使用RANSACE(Random Sample Consensus 随机采样一致性) 算法，在满足设定的阈值条件下，去除偏差较大的特征点，利用最终确定的匹配特征点，计算出两图匹配的变换参数，以一张作为参考图，另一张通过计算出的参数得到变换后的匹配图后拼接。对应重合的部分，采用线性加权或更复杂的融合算法，使得拼接部分的像素的色彩和相邻未拼接部分更接近一致。

在水平全景图拼接过程中，将各部分图像先转化为柱面坐标进行拼接， 如图3所示，以避免因各摄像头存在的成像面夹角直接拼接到某一参考平 面时，因保留其夹角信息的所做的变换导致边缘部分的扩展。图3中31为 转换的圆柱形坐标轴心，32为投影到的柱面坐标面，33、34在投影后， 经拼接、融合，得到35。将图1中水平摄像机组1中，同一时刻摄取的图 像经上述过程处理后，便得到了柱面坐标系下的水平全景图。

完成水平全景图像拼接后，再转换为球面坐标系，与顶部摄像机图像完成拼接，拼接后进行等矩形投影，如图4所示，使用等矩形投影（Equirectangular Projection，可生成等矩形格网），将球面坐标系41变换为直角坐标系42，从而将球面图全景图展开为矩形的全景图。等矩形投影变换是将球面坐标的极角（与坐标轴的夹角）值θ、φ，通过函数变换φ=atan2(z,x). θ=atan2(y,x) ，转换为直角坐标系的坐标值。

上述中，所述步骤1中，是在所有摄像机同步采集的前提下，获取图像内容为同一时刻的全景内容，获取的方法是利用人眼的立体成像原理：左右眼间的瞳距约65mm（成年人），双眼看到的同一物体在视网膜所成的像存在微小的差异，根据这些差异视神经系统合成的图像不仅包含了彩色、明暗等信息，也形成了所见物体中各点的距离信息，即整合形成了三维立体图像。如果在不同位置拍摄同一场景的视频，将视频分别同时输入左右眼，则眼前会呈现立体影像，这便是立体电影、电视的成像原理。双目立体成像的原理示意图见图5，图5中实物51经双眼形成的像56，不仅包含了实物51的颜色和亮度信息，而且包含了深度信息，即实物51距离双眼的距离。左眼52对实物51成像为54，而右眼53对实物51的成像为55，由于左眼52与右眼53的瞳孔间存在一定的距离，即瞳距（成年人平均瞳距为65mm）,这样大脑利用视网膜所成的像54与55的细微差异，最终合成的像56就包含了实物51的立体信息。

步骤2中，水平方向的相邻摄像头间距近似人体的瞳距，在成像时具有交叠的视场，所采集的视频帧含有部分重复的内容，由于拍摄位置的不同，重复部分的对应像素包含了视差信息。当相邻的三个摄像头中，前两个（俯视图中偏左方）采集的图像，和后两个（偏右方）采集的图像，合成后分别输入左右眼，两组图像由于采集时都使用了中间的相机，视场的交叠使得双眼看到不同角度的部分相同场景，这就模拟了某时刻某个特定角度双眼感知视差的情境。当使用全部的摄像头采集并合成全景图后，左右眼分别输入相同时刻采集、存在近似瞳距的两组图像时，便产生了立体图的效果，若生成连续的全景视频，按同样的方式播放，就得到了全景立体视频。

由于本发明中采用的摄像头，在采集影像时不可能覆盖连续的全景范围，对于机位间未重叠的部分，使用线性或非线性插值得到近似的计算效果，从而获取全景立体影像。

本发明创新点：1、采用头戴式设计，方便佩戴，便于随时随地拍摄，加装头顶摄像头，与水平环状辐射式安装的摄像头组一起，实现360°+180°的全景摄像效果。2、分布式的存储处理方案，避免高清晰度下视频传输的瓶颈问题。3、通过模拟左、右眼产生两路图像或视频信号，当双眼分别获得不同的两路信号输入后，利用人眼视差原理，产生全景立体图或视频效果，实现全景立体功能。4、成本相对较低。5、体积小，适合头戴，随时记录佩戴者的360度立体视角。6、采用分布式存储，解决了传输和存储带宽瓶颈问题。7、硬件方案上，摄像头可以采取其他排列方式；软件上可以修改图像处理算法而实现同样的目的

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种头戴式全景360度立体摄像装置，其特征在于，包括：水平摄像头组、头圈、水平摄像头支架、鱼眼摄像头及鱼眼摄像头支架；所述水平摄像头支架除固定水平摄像头组及鱼眼摄像头支架外，也用于使用者佩戴时的固定。

2.如权利要求1所述的立体摄像装置，其特征在于，在水平方向采用8-16个呈径向均匀排列的由水平摄像头组成的摄像头组，每个水平摄像头之间的最大间距为65mm。

3.如权利要求2所述的立体摄像装置，其特征在于，所述水平摄像头支架，沿圆周方向均匀排列；所述鱼眼摄像头支架设置在头圈的中部上方，鱼眼摄像头支架上固定有鱼眼摄像头，鱼眼摄像头的光轴与水平面垂直，其鱼眼摄像头的视场角与水平摄像头组的视场角叠加应不小于180度。

4.如权利要求3所述的立体摄像装置，其特征在于，所述水平摄像头组，用于将采集的图像或视频与鱼眼摄像头采集的图像或视频，合成全景的图像或视频。

5.如权利要求1所述的立体摄像装置，其特征在于，还包括控制模块和信号处理模块，控制模块用于控制各水平摄像头及鱼眼摄像头的同步拍摄，以确保图像或视频每帧在同一时刻采集，所有像素对应于同一场景；信号处理模块用于控制各水平摄像头及鱼眼摄像头的数据压缩、存储及传输及实现全景图像的拼接以及立体画面呈现。

6.一种头戴式全景360度立体摄像处理方法，其特征在于，具体步骤如下：

步骤1：分别获取水平摄像头组及鱼眼摄像头的图像数据；

步骤2：校正水平摄像头组中各个摄像头及鱼眼摄像头的内部参数，去除由于镜头畸变并补偿各个镜头之间的方向偏差；由同步信号驱动水平摄像头组及鱼眼摄像头，将采集的图像/视频数据进行存储后，先将水平摄像头组的所有的图像进行拼接；再将鱼眼摄像头的图像拼接融入；

步骤3，进行等矩形投影后，从而获取全景图像。

7.如权利要求6所述的处理方法，其特征在于，上述步骤2中的校正是指获取水平摄像头组中各个摄像头及鱼眼摄像头的内部参数及畸变参数，以及各水平摄像头间及与鱼眼摄像头之间包括距离、夹角的相互位置关系的外部参数，用于后续计算中去除镜头畸变并补偿各个镜头之间的方向偏差;上述步骤2中的拼接是指将水平摄像头组的所有的图像进行拼接，相邻水平摄像头获取的图像（33）和图像（34），拼接为图像（35）；拼接的处理过程利用镜头存在视场交迭，图像（33）和图像（34）存在部分相同区域，对此区域的图像分别提取特征点，进行匹配，以此计算出相应几何变换参数，以一张作为参照，另一张进行变换，完成两者最终的拼接；依次进行可得到水平方向的全景图，最后将顶部图像叠加后可得到全景360度+180度的全景图。

8.如权利要求7所述的处理方法，其特征在于，所述特征点，在选取时使用SIFT算法，找到具有局部尺度大小、旋转、亮度变化不变性的关键特征点，上述中具有局部尺度大小、旋转、亮度变化的关键特征均具有较强的抗噪声特性，在相邻图中找到其对应关键特征点进行匹配；在匹配过程中，使用RANSACE算法，在满足设定的阈值条件下，去除偏差较大的特征点，利用最终确定的匹配特征点，计算出两图匹配的变换参数，以一张作为参考图，另一张通过计算出的参数得到变换后的匹配图后拼接；对应重合的部分，采用线性加权算法，使得拼接部分的像素的色彩和相邻未拼接部分更接近一致。

9.如权利要求8所述的处理方法，其特征在于，所述步骤2中，将水平摄像头组的所有的图像进行拼接；再将鱼眼摄像头的图像拼接融入的具体步骤是：在水平全景图拼接过程中，将各部分图像先转化为柱面坐标进行拼接，以避免因各摄像头存在的成像面夹角直接拼接到某一参考平面时，因保留其夹角信息的所做的变换导致边缘部分的扩展；将图像（31）为转换的圆柱形坐标轴心，图像（32）转换为投影到的柱面坐标面，图（33）、图像（34）在投影后，经拼接、融合，得到图像（35）；将水平摄像机组中，同一时刻摄取的图像经上述过程处理后，便得到了柱面坐标系下的水平全景图；完成水平全景图像拼接后，再转换为球面坐标系，与鱼眼摄像头的图像完成拼接。

10.如权利要求9所述的处理方法，其特征在于，所述步骤3中，等矩形投影是将球面坐标系变换为直角坐标系，从而将球面图全景图展开为矩形的全景图；等矩形投影变换是将球面坐标的极角（与坐标轴的夹角）值θ、φ，通过函数变换φ=atan2(z,x). θ=atan2(y,x)，转换为直角坐标系的坐标值。