CN107743222B - 一种基于采集器的图像数据处理方法及三维全景vr采集器 - Google Patents

Abstract

本申请公开了一种基于采集器的图像数据处理方法及三维全景VR采集器，该图像数据处理方法包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的拍摄装置的垂直视差与其余拍摄装置的垂直视差进行最小化操作，完成对每个拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的相邻图像之间的立体视差完成相邻图像的拼接操作。根据本申请的一种基于采集器的图像数据处理方法及三维全景VR采集器，利用摄像头布局与设备控制实现快速采集三维环境数据，因此三维全景VR采集器结构精巧便于携带，可适用于各种生活生产场所的全景图像采集。

Description

一种基于采集器的图像数据处理方法及三维全景VR采集器

技术领域

本申请涉及图像数据处理技术领域，特别是涉及一种基于采集器的图像数据处理方法及三维全景VR采集器。

背景技术

全景展示技术是目前全球范围内迅速发展并逐步流行的一种视觉新技术。它给人们带来全新的真实现场感和交互式的感受，可广泛应用于三维电子商务，如在线的房地产楼盘展示、虚拟旅游、虚拟教育等领域，所显示场景即为真实场景，与传统的三维建模虚拟现实相比更具真实感，更为经济，通过鼠标拖动，使普通用户操作更为简便。

目前，三维全景图像源自对真实场景的摄影捕捉，真实感强烈。现有技术中采用的拍摄方法是用一个相机绕固定的轴旋转一周拍摄一系列连续的图片，来产生合适的朝向以及具有一致深度的全景图，但是无法用于有运动物体的场景。还有比较主流的是单视场360°全景，通常使用两个或者更多的相机来获得360°的全景，但是这些全景图看起来比较“扁平”，没有三维立体感。如果想要获得3D-360全景视频就没那么容易了，因为相对于单视角全景视频，3D-360视频需要深度信息。

现有技术在立体360渲染方面还存在不足，主要不足如下：涉及的数据量非常巨大。由于系统设备有十几个相机之多，而且为了保证最好的图像质量使用的是原始的未压缩的图像；要求精度高，留出出错的空间极小。对于单眼的2D的360S视频内容来说，一些小的拼接错误是可以容忍的，但是对于立体3D360视频来说，必须保证极高的精度达到绝对近乎完美的效果，否则会引起观看者产生眩晕等生理方面的不适感；要求处理速度高等问题。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的第一方面，提供了一种基于三维全景VR采集器的图像数据处理方法，包括以下步骤：对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；对相邻的所述拍摄装置的垂直视差与其余所述拍摄装置的所述垂直视差进行最小化操作，完成对每个所述拍摄装置透视变换矩阵的计算；进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的所述相邻图像之间的所述立体视差完成相邻图像的拼接操作。

可选地，还包括，对获取的所有图像进行正方形投影操作。

可选地，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成所述拍摄装置的校正操作。

可选地，采用张正友标定法对放置在标定板的多张图像进行标定来获取所述拍摄装置的所述内部参数与所述畸变系数。

可选地，还包括，对相邻的所述拍摄装置之间的重叠区域，通过计算所述重叠区域的光流完成视差的计算。

根据本申请的第二方面，提供了一种三维全景VR采集器，包括：上盖、下盖和拍摄装置，所述上盖与所述下盖相连接，所述上盖的顶端开设有第一通孔，所述下盖的底部开设有至少两个第二通孔，所述上盖和所述下盖的连接处等间距开设有第三通孔，所述拍摄装置包括第一拍摄装置和第二拍摄装置，所述第一拍摄装置包括顶部拍摄装置和底部拍摄装置，所述顶部拍摄装置设置在所述第一通孔内，至少两个所述底部拍摄装置设置在所述第二通孔内，所述第二拍摄装置设置在所述第三通孔内。

可选地，还包括链接结构，所述链接结构设置在所述下盖的底端。

可选地，还包括支撑杆，所述支撑杆通过所述链接结构设置在所述下盖的底端。

可选地，还包括套筒，所述套筒设置在所述第一通孔、所述第二通孔和所述第三通孔内。

可选地，所述上盖和所述下盖的形状为锥形。

本申请的一种基于三维全景VR采集器的图像数据处理方法及三维全景VR采集器，由于三维全景VR采集器利用摄像头布局与设备控制实现快速采集三维环境数据，因此三维全景VR采集器结构精巧便于携带，可适用于各种生活生产场所的全景图像采集。

进一步地，本申请的三维全景VR采集器通过投影成像、图像渲染等生成高质量高分辨率的全景数据，能够使数据格式便于在网络传输，适合在PC端和移动端上进行数据的输出。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的一种基于三维全景VR采集器的图像数据处理方法的流程示意图。

图2是根据本申请一个实施例的一种三维全景VR采集器的主视图；

图3是图2所示三维全景VR采集器的上盖的结构示意图；

图4是图2所示三维全景VR采集器的下盖的结构示意图。

具体实施方式

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

图1是根据本申请一个实施例的一种基于三维全景VR采集器的图像数据处理方法的流程示意图；包括以下步骤：

S110，对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；

S112，对相邻的拍摄装置的垂直视差与其余拍摄装置的垂直视差进行最小化操作，完成对每个拍摄装置透视变换矩阵的计算；

S114，进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的相邻图像之间的立体视差完成相邻图像的拼接操作。

进一步地，还包括，对获取的所有图像进行正方形投影操作。

进一步地，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成拍摄装置的校正操作。

进一步地，采用张正友标定法对放置在标定板的多张图像进行标定来获取拍摄装置的内部参数与畸变系数。

进一步地，还包括，对相邻的拍摄装置之间的重叠区域，通过计算重叠区域的光流完成视差的计算。

在一个实施例中，基于三维全景VR采集器的图像数据处理方法的步骤如下：转换RAW Bayer数据到伽马校正后的RGB。主要包括：摄像头之间的颜色校准、暗角消除、Gamma和色调曲线、锐化(逆向卷积)、去马赛克图像复原。相机内参校正，用于去除镜头畸变并将图像重投影到极坐标系。通过光束平差之后相机之间的外部参数校正来补偿摄像头之间的方向偏差。对每对相邻的摄像头进行光流计算，用于计算左右眼之间的立体视差。基于光流的左眼和右眼视图，分别合成虚拟相机每个视角方位的新视图。最终合成左眼和右眼像素。

具体而言，首先，相机输出RAW Bayer格式的图像，三维全景VR采集器渲染算法中的图像信号处理部分利用gamma校正和颜色调整将RAW数据转换为标准的RGB图像，读取图像数据并对每张图做正方形投影，这些正方形投影的矩形结构可以覆盖整个球体；把原始输入图片投影为正方形时，需要对镜头引起的图像畸变做校正，三维全景VR采集器使用张正友标定法，对标定板拍摄多张图片来做标定，可以求得内参和畸变系数用于做畸变校正；三维全景VR采集器也对相机、镜头、支架系统的旋转、平移错位进行了校正。这些错位会引起垂直方向的视差(会引起重影，破坏3D效果)。为解决该问题，三维全景VR采集器首先对相邻相机拍摄的图片之间特征点匹配，然后联合最小化所有侧面相机的垂直视差(同一个物体在左右眼图像中垂直方向的距离差)，对每个相机计算出一个透视变换矩阵；三维全景VR采集器通过计算它们之间的光流来计算视差。光流用于视角插值，因此可以从虚拟相机中得到我们所需要的光线。

至此，系统完成了侧面立体全景图的渲染。融入顶部和底部相机的图片可以得到更具有沉浸感的360°×180°的全景。侧面相机的水平和垂直视场角约为90°(经过桶型畸变校正后视场角降低为77°)。所以侧面相机在垂直方向总共180°的范围内在靠近地平线方向占据77°左右的垂直区域，剩下的空缺可以由顶上和底下的180°单目鱼眼相机来填补。实际上，在正对的顶部和底部只能采用单目相机，因为无法对所有头部朝向进行立体校正使之成为一个左/右正方形图像对，所以三维全景VR采集系统的立体效果从水平线到两极是逐渐变小的。使用不同的镜头，可以增加水平方向的立体范围，但是这是和图像分辨率/像素密度之间的折中。

为了无缝拼接顶部的相机拍摄的图片和侧面相机拍摄的图片，并且产生舒适的立体效果，三维全景VR采集系统采用光流来匹配顶部图片和侧面生成的全景图，通过alpha混合(一种基础的平滑的图像混合技术，具有去重影效果)合成最终的图像。

底部有两个相机，所以可以用算法自动从图像中去掉支架。底部的主相机位于圆盘正中心，和顶部的相机完全对称。底部另外一个辅助相机在支架的另一面，所以主相机中被支架遮挡的部分的图像通过辅相机可以看到，反过来也是。三维全景VR采集系统在两张图里指定支架的模板，然后用光流把第二张图变形为第一张图，然后融合两张图。

根据本申请的实施例的一种基于三维全景VR采集器的图像数据处理方法，能够快速地进行渲染，并保证图像质量、对深度和广度的准确感知、以及舒适的立体显示。另外，上面的摄像头和下面的摄像头可以提供完整的360度×180度覆盖范围，同时不会拍摄到脚架，提高了沉浸感。

图4是根据本申请一个实施例的一种三维全景VR采集器的主视图。采集器一般性地可包括：上盖1、下盖2和拍摄装置4。

具体而言，上盖1、下盖2和拍摄装置4，上盖1与下盖2相连接，上盖1的顶端开设有第一通孔，下盖2的底部开设有至少两个第二通孔，上盖1和下盖2的连接处等间距开设有第三通孔。

拍摄装置4包括第一拍摄装置41和第二拍摄装置42，第一拍摄装置41包括顶部拍摄装置411和底部拍摄装置412，顶部拍摄装置411设置在第一通孔内，至少两个底部拍摄装置412设置在第二通孔内，第二拍摄装置42设置在第三通孔内。

可选地，还包括链接结构，链接结构设置在下盖的底端。可选地，还包括支撑杆5，支撑杆5通过链接结构设置在下盖2的底端。可选地，还包括套筒，套筒设置在第一通孔、第二通孔和第三通孔内。可选地，上盖1和下盖2的形状为锥形。

可以理解的是，包括上盖1、下盖2、侧面广角镜头、顶部鱼眼镜头、底部鱼眼镜头、镜头套筒、支撑杆等部分组成。其中，侧面广角镜头共计14个，顶部鱼眼镜头1个，底部鱼眼镜头2个。

其中，镜头套筒材质选用6063航空铝，该材质主要合金元素为镁与硅，加工性能极佳、优良的可焊接性、挤出性及电镀性、良好的抗腐蚀性、韧性，易于抛光、上色膜，阳极氧化效果优良，是典型的挤压合金。6063铝合金型材具有良好的塑性、适中的热处理强度、良好的焊接性能以及阳极氧化处理后，表面华丽的色泽等诸多优点。制作工艺选择车削，通过车床加工周堆成的柱状镜头套筒，保证套筒各加工面的位置精度。支撑杆材质选用6063航空铝。制作工艺选择挤压工艺。

侧面摄像机选用山狗SJ9000。单个山狗SJ9000摄像机主机净重48g，含电池60g，长60mm，宽30mm，高41mm。上表面有录像/拍照/确认键，左表面有wifi开关，右表面有USB充电口、TF卡卡槽、HDMI输出口，下表面有电池仓和电池仓开关。正面是相机镜头和logo，背面是2英寸的显示屏。相机镜头为1600万像素及170°广角。具有30米防水、延时拍摄、电池可拆卸、2英寸显示屏、wifi连接手机、4K24帧分辨率、支持边充电边录像等功能。

在一个实施例中，包括17个摄像头，由侧面环绕14个广角摄像头，上面覆盖了1个鱼眼摄像头和下面有2个鱼眼摄像头组成，并安装在一个类似UFO的平台上，且摄像头均为400万像素以上高清摄像头。

在相机同步上，选用全局快门，而非滚动快门，有效避免的拼接过程中的果冻效应。下面2个鱼眼融合成1个，抹掉三角架的位置的图像。边上14个高清摄像头计算光流，融合成为一张全景图像。上下2个鱼眼图像分别跟中间摄像头生成的全景图计算光流，进行融合。

根据本申请的实施例的一种三维全景VR采集器，能够快速地进行渲染，并保证图像质量、对深度和广度的准确感知、以及舒适的立体显示。另外，上面的摄像头和下面的摄像头可以提供完整的360度×180度覆盖范围，同时不会拍摄到脚架，提高了沉浸感。

图3是图2所示三维全景VR采集器的上盖1的结构示意图。在一个实施例中，上盖1特别地被制成具有纵向中央通孔的截锥形。其中，上盖1的材质选用丙烯腈-丁二烯-苯乙烯共聚物(Acrylonitrile Butadiene Styrene，简称ABS)，是一种强度高、韧性好、易于加工成型的热塑性高分子材料结构，又称ABS树脂。采用注塑成型工艺进行制作，工艺过程包括加压、注入、冷却、脱离等步骤。对熔融的ABS材料加压，注入到模具中，再经过冷却、脱离后取出，得到三维数据采集器上盖。

图4是图2所示三维全景VR采集器的下盖2的结构示意图。在一个实施例中，下盖2特别地被制成具有纵向中央通孔的截锥形。其中，下盖2与上盖1的制作工艺相同。下盖2材质也选用ABS制作，加工工艺选择注塑成型工艺。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种三维全景VR采集器，其特征在于，包括：上盖、下盖和拍摄装置，所述上盖与所述下盖相连接，所述上盖的顶端开设有第一通孔，所述下盖的底部开设有至少两个第二通孔，所述上盖和所述下盖的连接处等间距开设有第三通孔，所述拍摄装置包括第一拍摄装置和第二拍摄装置，所述第一拍摄装置包括顶部拍摄装置和底部拍摄装置，所述顶部拍摄装置设置在所述第一通孔内，至少两个所述底部拍摄装置设置在所述第二通孔内，所述第二拍摄装置设置在所述第三通孔内；还包括链接结构，所述链接结构设置在所述下盖的底端；还包括支撑杆，所述支撑杆通过所述链接结构设置在所述下盖的底端；还包括套筒，所述套筒设置在所述第一通孔、所述第二通孔和所述第三通孔内；所述上盖和所述下盖的形状为锥形。

2.一种基于三维全景VR采集器的图像数据处理方法使用如权利要求1所述的一种三维全景VR采集器，其特征在于，包括以下步骤：

对预设范围内获取的图像数据进行读取，并对相邻的拍摄装置拍摄的图像的特征点进行标注与匹配；

对相邻的所述拍摄装置的垂直视差与其余所述拍摄装置的所述垂直视差进行最小化操作，完成对每个所述拍摄装置透视变换矩阵的计算；

进一步对相邻图像之间的光流完成立体视差的计算，通过计算出的所述相邻图像之间的所述立体视差完成相邻图像的拼接操作。

3.根据权利要求2所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，还包括，对获取的所有图像进行正方形投影操作。

4.根据权利要求3所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，对获取的所有图像进行正方形投影操作之前，通过获取拍摄装置的内部参数与畸变参数完成所述拍摄装置的校正操作。

5.根据权利要求4所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，采用张正友标定法对放置在标定板的多张图像进行标定来获取所述拍摄装置的所述内部参数与所述畸变系数。

6.根据权利要求2所述的一种基于三维全景VR采集器的图像数据处理方法，其特征在于，还包括，对相邻的所述拍摄装置之间的重叠区域，通过计算所述重叠区域的光流完成视差的计算。