CN107358577B - 一种立方体全景图的快速拼接方法 - Google Patents

Abstract

一种立方体全景图的快速拼接方法，包括：布置全景相机，同步拍摄正对空间的前、后、左、右、上、下六个方向；对全景相机进行标定，获取畸变校正参数，进而获取各图像的线性变换参数和裁切参数；通过全景相机拍摄场景，首先使用畸变参数进行镜头的畸变校正，然后使用线性参数对每幅图像进行旋转变换和平移变换；将得到的六幅图像均根据裁切参数在中心处裁切为正方形，使六幅图像大小一致，且在水平方向和竖直方向的视角均为90度，最后将六幅图像裁切得到的正方形图像分别放置在平面立方体全景图与拍摄相机的对应位置即完成拼接。本发明标定过程仅需要进行一次，多次重复利用标定参数，简化了拼接过程，加快了拼接速度，节省了大量拼接时间。

Description

一种立方体全景图的快速拼接方法

技术领域

本发明涉及图像拼接领域，具体涉及一种立方体全景图的快速拼接方法。

背景技术

全景图是指水平视角360度，垂直视角180度的全视角图像。按照显示方式，全景主要分为球面全景、柱面全景、立方体全景等。现在的主流全景在显示时所用的源一般为球面全景或立方体全景，但是拼接方法主要采用球面全景的拼接融合方法。若要采用立方体全景显示方法，需要通过拼接生成的球面全景转化为立方体全景再显示。现有全景拼接过程主要包括图像采集、镜头畸变校正、图像匹配、图像拼接、图像融合等过程。主要存在以下问题：

1、采集难度大：为了获取高清全景，除使用专业全景设备外，一般通过转动单个高清摄像机面向不同方向拍摄的方法获取照片，使相邻两幅图之间有足够的重叠区域且拍摄每幅图像时镜头的光心尽量汇聚在一起，这对拍摄人员有一定的技术要求。

2、畸变校正难度大：全景的分辨率由单张图片的分辨率以及图片的个数决定，为了在不降低全景分辨率的前提下减少镜头使用数目，一般采用超广角镜头或鱼眼镜头。此类镜头虽然拍摄视角很大，但是也随之带来光心偏移、径向畸变、切向畸变等问题。为了使图片成为符合人眼观感的线性图片，在图片拼接前应对上述畸变进行校正。如非使用固定相机拍摄，则必须在每次拼接时都要对每个镜头单独校正，这样耗费时间，不利于提高拼接效率。

3、拼接难度大：由于现有全景在拼接时，每幅图像都需要先进行角点检测，然后进行角点匹配与配准。配准之后获得了每幅图片在整个全景图中的位置信息，然后将每幅图片进行简单的位置线性变换后得到了有重叠区域的全景图。这种方式由于每次拼接都需要计算当前图片对应的拼接参数，因此本过程需要耗费大量的运算资源和时间。

4、融合难度大：为了消除重叠区域，需要进行图片的融合。融合过程不但包括对每幅图像边缘部分重叠区域的融合，而且通过检测重叠区域的色度及亮度信息，完成相邻两幅图之间的色彩校正。如果相邻两幅图的重叠区域越大，拼接过程中的角点匹配正确率越高，但是融合难度也会越大，对应的融合所需时间就越长。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种立方体全景图的快速拼接方法，通过对全景相机进行标定，获得全景相机的标定参数，在进行全景图拼接时，直接根据标定参数对图像进行处理，处理后经过简单操作即能够得到立方体全景图，实现快速拼接。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、布置全景相机，同步拍摄正对空间的前、后、左、右、上、下六个方向；

步骤二、标定全景相机，获取畸变校正参数及各个方向图像的线性变换参数和裁切参数；

步骤三、通过全景相机拍摄场景，首先使用畸变校正参数进行镜头的畸变校正，再使用线性变换参数对每幅图像进行旋转变换和平移变换；将得到的六幅图像分别根据裁切参数在中心处裁切为正方形，使六幅图像大小一致，且在水平方向和竖直方向的视角均为90度；最后将裁切得到的正方形图像分别放置在平面立方体全景图与拍摄相机的对应位置即完成拼接。

所述的步骤一选取六个相同规格的相机并通过支架固定，相机的最小视角均大于90度，各个相机同步拍摄正对空间的前、后、左、右、上、下六个方向，相邻两个相机拍摄的照片均有重叠区域。步骤三利用图像恢复算法，对支架遮挡部分的图像进行重构，消除支架。

所述的步骤二通过标定模板或者具有特定线条的场景对全景相机进行标定，计算出镜头畸变模型对应的畸变校正参数。所述的步骤二通过对每幅图像进行旋转变换和平移变换，消除由于全景相机支架不规则造成的六个相机光轴无法相交于一点或相邻两相机的夹角不等于90度产生的误差，找到每个相机对应的旋转及平移变换参数，作为线性变换参数。

所述的裁切参数为裁切得到的正方形图像的边长。

步骤三根据每相邻两幅图像重叠部分的亮度对比，得到平面立方体全景图中六幅正方形图像各自的亮度均衡参数，对图像整体进行亮度校正，使最终得到的整体图像亮度统一。

所述的步骤三利用人脸识别和车牌识别抹除立方体全景中的人脸和车牌。

与现有技术相比，本发明具有如下的有益效果：解决了以往需要重复进行镜头畸变校正以及角点检测与匹配的问题，省去图像融合的过程。标定过程仅需要进行一次，在全景拼接时直接使用全景相机的标定参数进行图像标定，多次重复利用标定参数，简化了拼接过程，加快了拼接速度，节省了大量拼接时间。本发明能够直接生成立方体全景图，立方体全景图中每个立方体的面都是线性图像，便于后期的显示。本发明立方体全景中的线性图像相比于球面全景中变形严重的图像在运动估计时有明显优势，利于后续全景视频与全景电视的压缩编码。本发明得到的线性图像利于进行特征检测与特征识别，为后续过程中添加抹除人脸和车牌等操作提供了便利条件。上述有益效果使得快速拼接高清全景图像和视频成为现实。

附图说明

图1相机位置与立体立方体全景位置对应关系示意图；

图2相机记录图像的宽和高示意图；

图3立体立方体全景图中每个立体表面编号的示意图；

图4平面立方体全景图中每个正方形面片编号的示意图；

图5单个相机的旋转模型示意图；

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明立方体全景图的快速拼接方法包括以下步骤：

1.相机硬件准备

1-1)选取六个相同规格的超广角相机，要求所有相机的最小视角均大于90度。若不符合步骤2-1)-d)中的条件，则更换不符合要求的镜头。

1-2)使用支架固定六个相机，保证六个相机紧靠且相互位置固定，以六个相机光轴的交点为中心，每个相机正对空间中的前后左右上下六个方向，也就是任意相邻两个相机的光轴夹角为90度。拍摄得到的图片分别对应立方体全景图中的正前图、正后图、正左图、正右图、正上图和正下图的原始图。若不符合步骤2-2)-b)中的条件，则调整对应相机的方向。

1-3)使用遥控器或者在相机内部触发同步来实现六个相机同时拍摄。

2.相机标定

2-1)将有鱼眼效果的畸变图像进行校正，获取畸变校正参数。

2-1-a)单独取出其中一个超广角镜头相机，在光照良好的环境下，对一个标准的畸变标定模板或者具有多条长直线的场景拍摄。

2-1-b)超广角镜头的畸变模型不同，对应的畸变校正参数和方法也就不同。选择适合当前超广角镜头的畸变模型，以标定模板为参考，设置恰当的畸变参数以达到畸变校正的目的。当图像中对应实际场景为直线的像被校正为直线时，此时的结果视为畸变校正后的结果，此时的参数为超广角镜头的畸变校正参数。

2-1-c)剩余五个镜头，每个都重复步骤2-1-a)至2-1-b)，得到镜头对应的畸变校正参数。

2-1-d)估测经过校正后每幅图像的最小视角是否大于90度。若大于90度，则继续进行下面的步骤，若个别不足90度，找到视角不足的相机，返回步骤1-1)，若所有镜头都不足90度，则重新选择超广角镜头的畸变模型，返回步骤2-1)-b)。

2-2)将全景相机进行立体校正，获得全景相机的线性变换参数和裁切参数。

2-2-a)将全景相机放在用作立体标定的立方体框架中心附近，使六个相机大致上正对立方体框架的六个面。六个相机同时拍摄。轻微移动相机位置与角度，再次拍摄，如此反复多次，导出多组拍摄结果。

2-2-b)每组图像拍摄结果使用步骤2-1)的镜头畸变校正参数，经过畸变校正后得到线性图像，将线性图像进行匹配，得到各自的图像线性变换参数，包括旋转和平移变换参数。若经过匹配后的图像有空白处或者存在相邻两图之间无法拼接的情况，出现这种问题主要是由于某个相机位置偏离设计位置，导致图像与有空隙方向的图像没有重叠区域，而与相反方向的相邻图像有较大重叠，找到出现偏移的相机，返回步骤1-2)。

2-2-c)多组拍摄结果可以得到多组线性变换参数，选取整体参数最小的一组，此时相机拍摄的位置最接近立方体框架中心，同时每个镜头也最接近正对立方体六个面的方向。选取的这组参数可以记录为全景相机六个镜头的线性变换参数。

2-2-d)获得经过畸变校正和线性变换的六幅为一组的图像，将每幅图像中各自的立体标定框架作为基准，确定以图像中心为中心的水平方向和竖直方向90度视角所在位置，在该位置处将图像裁剪为正方形。六幅正方形图像各自的边长为对应六个相机的裁切参数。

进行相机标定过程的目的是获取全景相机每个相机的畸变校正参数、线性变换参数和裁切参数，这个过程只需要组装成全景相机后进行一次，生成的参数可重复使用。

3.全景图像拼接

3-1)将全景相机放在需要获取全景的场景中，同步六个相机进行拍摄，导出拍摄结果。根据上一步中得到的超广角镜头畸变模型和畸变参数先对拍摄结果进行镜头畸变校正，再根据线性变换参数对每幅图进行旋转变换和平移变换。

3-2)以当前图片中心为裁切中心，以裁切参数为正方形的边长，将每幅图像裁剪为正方形图像。裁切后经过缩放变换使六幅正方形图像的边长一致。找准每幅图对应的拍摄相机，利用相机位置与立体立方体全景位置的对应关系(如附图1所示的正前、正右、正后、正左、正上、正下六个方向对应于如附图3所示立方体的a、b、c、d、e、f六个面)，六幅裁切后的正方形图像置于平面立方体全景图的对应位置(对应关系如附图3与附图4所示)。

3-3)可添加的形成平面立方体全景之后的优化操作

3-3-a)上一步骤中裁切后舍弃的图像部分都是与其他图像有重叠的部分，根据每相邻两幅图像重叠部分的亮度对比，得到平面立方体全景图六幅正方形图像各自的亮度均衡参数，对图像整体进行亮度校正，最终使得整体图像的亮度统一。

3-3-b)利用人脸识别和车牌识别抹除立方体全景中的人脸和车牌，除此之外还可以进行其他特征检测。

3-3-c)针对面向正下方向的图像，由于使用了支架，支架又是不期望出现在全景图中的无效信息，而且正下的图像通常较为单一，包含高频信息较少，因此可以利用图像恢复算法，利用支架附近的像素，对支架遮挡部分的信息进行重构。

实施例

1.使用六个GoPro Hero4 Silver相机，将六个相机按从1到6编号。记录图像的宽和高，如附图2所示，选取较短的高作为立方体全景图每个单独正方形面片的边长。

2.镜头畸变校正

1)单独取1号相机，在光照适中的环境下，以黑白棋盘格作为标定模板，将模板在大显示屏上进行放大，保证相机离屏幕距离不过分近，且黑白棋盘格能充分显示在相机中。令相机面对当前经过放大的黑白棋盘格拍照，提取黑白棋盘格中的角点，观察原本应呈直线分布的角点在图像中的实际分布情况。

2)此镜头的畸变以径向畸变为主，此处忽略其他畸变情况。根据圆周鱼眼的球面模型，调整圆周鱼眼视场参数fov，观察角点位置变化情况。

3)当这些角点重新呈现直线分布，此时的视场参数fov即为1号相机镜头的畸变校正参数，此时的图像也就是畸变校正后的图像。

4)其余2-6号相机重复进行2)至3)的步骤。记录六个镜头各自的镜头畸变校正参数。

3.制作一个GoPro全景拍摄支架，将六个相机紧靠并固定在支架上，1号至6号相机分别放置于如附图3所示的a、b、c、d、e、f六个面中心处，且全部面向外，保证支架固定后的六个相机相互间的光轴夹角约为90度，且尽量使光轴交于一点。

4.全景相机整体标定，获取全景相机的线性变换参数和裁切参数。

1)准备一个边长为2.5米的立方体框架作为立体标定框架，保证框架边缘在相机成像中清晰可辨。将全景相机置于立方体框架中心附近，转动相机整体，使六个相机正对立方体框架的六个面。

2)使用遥控器控制六个相机同时拍摄照片。微调相机的位置和角度，拍摄多组照片，使每个相机拍到的照片中都包括立方体框架某个平面中四条完整的边。

3)单个相机的旋转模型如附图5所示，绕立体直角坐标系X、Y、Z轴旋转的三个旋转参数分别为Yaw，Pitch，Roll。

4)分析六个相机拍摄的照片内容，设置恰当的三个旋转变换参数，经过旋转变换，每幅图像中立方体框架的某一面呈现出正方形框架。每组照片得到6组Yaw，Pitch，Roll参数。

5)综合分析多组参数，选取其中最小的一组，作为全景相机的旋转变换参数，经过旋转变换后得到六幅为一组的新图像。

6)在上一步得到的六幅图像中找准每幅图像的正方形框架的中心坐标，与图像中心坐标的差值就是一组六个平移变换参数，使用此参数平移图像，使得正方形框架的中心与图像中心重合。

7)以现有图像的中心为裁切中心，将上述六幅经过旋转变换和平移变换的图像裁剪为正方形，保证每幅裁切后的图像恰好不包含正方形框架，六幅正方形图像的正方形边长即为各自的裁切参数。

5.制作立方体全景图

1)在感兴趣的场景中使用全景相机进行拍摄，保证六个镜头同步拍摄，导出拍摄结果。

2)利用步骤2得到的镜头畸变参数对拍摄图像进行畸变校正，再利用步骤4得到的线性变换参数对每幅图进行旋转变换和平移变换。以现有图像的中心为裁切中心，将图像裁剪为边长为裁切参数的正方形。之后进行图像整体的等比例缩放，保证缩放后的正方形边长为拍摄照片的高。

3)将相机编号1、2、3、4、5、6与立方体全景图a、b、c、d、e、f一一对应起来，并使将这些正方形填充到立方体全景图的对应位置，至此得到一幅完整的立方体全景图。

6.通过裁剪下来的相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到全景图整体亮度的一致性。

Claims (6)

1.一种立方体全景图的快速拼接方法，其特征在于，包括以下步骤：

步骤一、布置全景相机，同步拍摄正对空间的前、后、左、右、上、下六个方向；

选取六个相同规格的相机并通过支架固定，相机的最小视角均大于90度，各个相机同步拍摄正对空间的前、后、左、右、上、下六个方向，相邻两个相机拍摄的照片均有重叠区域；

使用遥控器或者在相机内部触发同步来实现六个相机同时拍摄；

步骤二、标定全景相机，获取畸变校正参数及各个方向图像的线性变换参数和裁切参数；

获取线性变换参数和裁切参数的具体步骤如下：

2-2-a)将全景相机放在立方体框架中心附近，使六个相机正对立方体框架的六个面，六个相机同时拍摄，轻微移动相机位置与角度，再次拍摄，如此反复多次，导出多组拍摄结果；

2-2-b)每组图像拍摄结果经过畸变校正后得到线性图像，将线性图像进行匹配，得到各自的图像线性变换参数，包括旋转和平移变换参数；若经过匹配后的图像有空白处或者存在相邻两图之间无法拼接的情况，找到出现偏移的相机，调整对应相机的方向；

2-2-c)通过多组拍摄结果得到多组线性变换参数，选取整体参数最小的一组，此时相机拍摄的位置最接近立方体框架中心，同时每个镜头也最接近正对立方体六个面的方向，选取的这组参数记录为全景相机六个镜头的线性变换参数；

2-2-d)获得经过畸变校正和线性变换的六幅为一组的图像，将每幅图像中各自的立体标定框架作为基准，确定以图像中心为中心的水平方向和竖直方向90度视角所在位置，在该位置处将图像裁剪为正方形，六幅正方形图像各自的边长为对应六个相机的裁切参数；

进行相机标定过程的目的是获取全景相机每个相机的畸变校正参数、线性变换参数和裁切参数，这个过程只需要组装成全景相机后进行一次，生成的参数可重复使用；

步骤三、通过全景相机拍摄场景，首先使用畸变校正参数进行镜头的畸变校正，再使用线性变换参数对每幅图像进行旋转变换和平移变换；将得到的六幅图像分别根据裁切参数在中心处裁切为正方形，使六幅图像大小一致，且在水平方向和竖直方向的视角均为90度；最后将裁切得到的正方形图像分别放置在平面立方体全景图与拍摄相机的对应位置即完成拼接；

根据每相邻两幅图像重叠部分的亮度对比，得到平面立方体全景图中六幅正方形图像各自的亮度均衡参数，对图像整体进行亮度校正，使最终得到的整体图像亮度统一。

2.根据权利要求1所述立方体全景图的快速拼接方法，其特征在于：所述的步骤三利用图像恢复算法，对支架遮挡部分的图像进行重构，消除支架。

3.根据权利要求1所述立方体全景图的快速拼接方法，其特征在于：通过标定模板或者具有特定线条的场景对全景相机进行标定，计算出镜头畸变模型对应的畸变校正参数。

4.根据权利要求1所述立方体全景图的快速拼接方法，其特征在于：所述的步骤二通过对每幅图像进行旋转变换和平移变换，消除由于全景相机支架不规则造成的六个相机光轴无法相交于一点或相邻两相机的夹角不等于90度产生的误差，找到每个相机对应的旋转及平移变换参数，作为线性变换参数。

5.根据权利要求1所述立方体全景图的快速拼接方法，其特征在于：所述的裁切参数为裁切得到的正方形图像的边长。

6.根据权利要求1所述立方体全景图的快速拼接方法，其特征在于：所述的步骤三利用人脸识别和车牌识别抹除立方体全景中的人脸和车牌。

Images