CN104835117B - 基于重叠方式的球面全景图生成方法 - Google Patents

Abstract

本发明公开了一种基于重叠方式的球面全景图生成方法，（1）以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型；（2）计算目标球面上点与半球面空间上点的映射关系；（3）根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值；（4）根据球面全景图生成原理，将球面空间上的点映射到球面全景图上。本发明实现的全景拼接使用的输入数据少，只用到了两幅鱼眼图像进行拼接，数据来源简单，成本低。在处理过程中，本发明有效的引入了重叠区域的位置关系，根据此关系，定量计算像素点的相对位置，简化了计算过程，加快了拼接处理的速度。最后通过灰度最大值的融合方式进行图像融合，提高了全景拼接的质量。

Description

基于重叠方式的球面全景图生成方法

技术领域

本发明属于计算机图形学领域，具体涉及一种基于重叠方式的球面全景图生成方法，即基于重叠方式采集两幅鱼眼图像，利用鱼眼图像成像空间与球面空间的映射关系，生成球面全景图。

背景技术

在智慧旅游、视频监控、增强现实、机器人导航等领域中，往往需要得到更大角度范围的图像，即使广角和鱼眼镜头的使用有时也无法满足需求，而全景图由于其可以达到全视角，能够满足以上领域的需求，因而得到了广泛的应用。将周围场景投影到以视点为球心的球面模型上，形成的以球心为视点，可以观看周围360度场景的虚拟空间称为球面全景，而将球面模型展开形成的全景图称为球面全景图。

由于球面全景能够很好的模拟周围360度范围的场景，因此在智慧旅游、视频监控等领域得到了广泛的应用。然而，目前球面全景图的生成方式主要有以下几种：

1.利用市场上已有的球面全景采集设备，如Point Grey公司的ladybug 3全景采集设备(Google公司的部分街景是通过此设备采集的)、Immesive Media公司的dodeca的全景采集设备(Google公司早期的街景都是通过 Immesive Media公司拍摄的)等。

由于这些设备的价格昂贵(价格均在20万左右)，因此在实际应用中推广较难，尤其是在视频监控领域，需要很多这样的设备进行监控，成本过高。外，由于这些设备底部都有支架支撑，因此，容易在底部形成空洞，视域范围不能达到360度。

2.利用单反相机采集图像，然后对这些图像进行拼接。

这种方式需要特定拍摄支架的支持，且采集一幅球面全景图需要利用单反相机拍摄很多幅图像，拍摄时间过长。这种方式只适合对球面全景图的离线采集和生成、在视频监控、机器人导航等领域是不适合的。

3.基于鱼眼图像的拼接，形成球面全景图

鱼眼图像的视域范围可以达到180度，视域范围较大。按照理论推理， 2幅图像即可拼接形成一幅球面全景图。

这种方式简单易实现，且成本较低，可以在智慧旅游、视频监控、机器人导航等领域得到应用。

本发明属于利用上述第3种方式生成球面全景图。鉴于其他球面全景图生成过程中，拼接痕迹过于明显、自动匹配时间过长等缺点，本发明提出了基于重叠方式的球面全景图生成方法。即利用朝向相反的方式采集两幅鱼眼图像，使鱼眼图像所对应两个半球空间形成重叠，将两个半球空间对应的场景映射到球面模型上，从而生成球面全景图。

发明内容

本发明是为了解决现有球面全景图生成方法受图像采集方式、图像拼接方式等影响，存在生成速度慢、成本高等问题，难以在视频监控、智慧旅游等领域中进行实际应用这一问题，提出了一种基于重叠方式的球面全景图生成方法。

本发明的内容如下：

一种基于重叠方式的球面全景图生成方法，采用朝向相反的方式采集两幅鱼眼图像，使鱼眼图像所对应两个半球空间形成重叠，将两个半球空间对应的场景映射到某球面模型上，对球面模型进行展开从而生成球面全景图，具体是按如下步骤进行：

(1)以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型：

1)记两幅鱼眼图像对应的半球面空间分别为Ω1和Ω2，Ω1与Ω2朝向相反，且存在重叠；记Ω1的球心为A，Ω2的球心为B，半径均为R，记A、B之间的距离为2d；

2)以AB的中心点O为球心，建立目标球面空间模型，目标球面与Ω1、Ω2 相切，则球O的半径为R-d；

3)以球心O为坐标原点建立空间坐标系OXYZ，其中X轴垂直于AB，向量方向为Z轴正方向，Y轴垂直于XOZ面并满足右手定律；

4)以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系BXYZ；AXYZ、BXYZ的X、Y、Z轴均与坐标系OXYZ中的X、Y、Z 轴平行且方向相同；

(2)计算目标球面上点与半球面空间上点的映射关系

记球面全景图上的点D(x_pano，y_pano)在球面空间O上对应的点为H，连接OH 后交半球面(可以是半球面A或者B，计算方法相同)于H′，则H′为H点在半球面上的对应点，即H点的像素值与H′点的像素值相同；假设H点在OXYZ坐标系下的极坐标为

其中，R-d为球O的半径，θ₁为OH与Z轴正方向的夹角，

为OH在XOY平面上的垂直投影与X轴正方向的夹角；则需要计算对应点H′在其所在球面坐标系下(若H′为半球面A上的点，则此时其所在球面坐标系为AXYZ；若H′为半球面B上的点，则此时其所在球面坐标系为 BXYZ)的极坐标

其中R为半球面的半径，θ′为AH′与Z轴正方向的夹角，

为AH′在XOY平面上的垂直投影与X轴正方向的夹角；

计算过程如下：

点H′为点H的对应点，所以点o、H和H′三点共线；点O、H′和A构成空间上的三角形ΔAOH′，OH′与Z轴正方向的夹角θ为ΔAOH′的外角，θ＝θ₁，即θ等于AH′与Z轴正方向的夹角θ′加上OH′与AH′的夹角η；由三角形的余弦定理可知，

结合鱼眼镜头的成像原理，入射光、反射光和透射光位于同一法平面内，因此AH′在XOY平面上的垂直投影与X轴正方向的夹角

综上，即可求得点H′在其所在球面坐标系下的极坐标为

(3)根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值：

1)根据鱼眼镜头投影模型计算H′成像到鱼眼图像上的对应点的像素值，将此像素值作为H′点的像素值；而H′为H在空间中对应的点，因此可获得H点的像素值；

2)针对两个半球空间的重叠区域，基于图像融合原理进行像素的融合；两个半球空间存在重叠区域，将重叠区域投影到球面O上，则在O上对应的区域为：π/2-α≤θ≤π/2+α，α＝arctan(d/R)；在重合区域，采用灰度最大值的融合方法计算最后的像素值；假设融合区域上某点Q，它在半球A和半球B上的对应点分别为M、N，分别计算出点M、点N对应的像素灰度值，取灰度值最大的点的像素值作为融合后的像素值；

(4)根据球面全景图生成原理，将球面空间上的点映射到球面全景图上(参照专利CN201210249093中的权利要求1(3)所示)，即可生成球面全景图。

本发明的优点在于：

本发明实现的全景拼接使用的输入数据少，只用到了两幅鱼眼图像进行拼接，数据来源简单，成本低。在处理过程中，本发明有效的引入了重叠区域的位置关系，根据此关系，定量计算像素点的相对位置，简化了计算过程，加快了拼接处理的速度。最后通过灰度最大值的融合方式进行图像融合，提高了全景拼接的质量。

附图说明

图1为两个半球空间位置关系示意图。

图2为两个半球空间与球面空间模型位置关系示意图。

图3为球面上点与半球面上点的映射关系计算示意图。

图4为两个半球面形成的重叠区域示意图。

具体实施方式

本发明首先需要控制两次拍摄点之间的距离，然后将该距离与像素距离进行单位上的统一，最后进行相应的后续运算。

一种基于重叠方式的球面全景图生成方法，具体的处理方式如以下步骤所示：

(1)采集两幅鱼眼图像，通过鱼眼镜头在相反的方向上拍摄两幅鱼眼图像 P1、P2，控制前后拍摄位置的间隔为2D；

(2)统一量纲，计算拍摄重合距离对应的像素值：

记鱼眼镜头的拍摄点相距的距离为2D(cm)，在一张白纸上标记一点G，控制该点与鱼眼镜头拍摄的镜头距离为2D(cm)，通过鱼眼镜头拍摄可知G点在鱼眼图像的投影点位M点，M点相对于鱼眼图像中心点O的坐标为(i，j)，此时可根据鱼眼镜头投影模型可知：

K＝Rθ₁

R为半径，θ₁为OH与Z轴正方向的夹角，通过上式可知θ₁的值，此时可得2d (即重合区域像素长度)

2d＝R cosθ₁

这样在开始的时候既可以求出重合拍摄区域的长度为2D(cm)拍摄后重合的区域像素长度2d；多选取几个点重复上述操作，取平均值；

(3)建立球面空间模型：

由鱼眼图像投影原理可知，两幅鱼眼图像分别对应两个半球空间，因步骤(1) 中的拍摄方式，两幅鱼眼图像存在重叠部分，即两个半球空间存在重合。

如图1所示，鱼眼图像P1、P2分别对应Ω1和Ω2两个半球空间，Ω1和Ω2切面朝向相反，且存在重叠。设Ω1的球心为A，Ω2的球心为B，半径均为R，记A、B之间的距离为2d。如图2所示，取AB的中心点O，以点O为球心、R-d为半径构造目标球面空间。

以球心O为坐标原点建立空间坐标系OXYZ，其中X轴垂直于AB，向量方向为Z轴正方向，Y轴垂直于XOZ面并满足右手定律。

以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系BXYZ。AXYZ、BXYZ的X、Y、Z轴均与坐标系OXYZ中的X、Y、Z轴平行且方向相同。

(4)计算目标球面上点与半球面空间上点的映射关系

如图3所示，记球面全景图上的点D(x_pano，y_pano)在球面空间O上对应的点为H，连接OH后交半球面(可以是半球面A或者B，计算方法相同)于H′，则H′为H点在半球面上的对应点，即H点的像素值与H′点的像素值相同。假设 H点在OXYZ坐标系下的极坐标为

其中，R-d为球O的半径，θ₁为OH与Z轴正方向的夹角，

为OH在XOY平面上的垂直投影与X轴正方向的夹角，则需要计算对应点H′在其所在球面坐标系下(若H′为半球面A上的点，则此时其所在球面坐标系为AXYZ；若H′为半球面B上的点，则此时其所在球面坐标系为BXYZ)的极坐标

其中R为半球面的半径，θ′为AH′与Z 轴正方向的夹角，

为AH′在XOY平面上的垂直投影与X轴正方向的夹角。

计算过程如下：

点H′为点H的对应点，所以点O、H和H′三点共线。点O、H′和A构成空间上的三角形ΔAOH′，OH′与Z轴正方向的夹角θ为ΔAOH′的外角，θ＝θ₁，即θ等于AH′与Z轴正方向的夹角θ′加上OH′与AH′的夹角η。由三角形的余弦定理可知，

结合鱼眼镜头的成像原理，入射光、反射光和透射光位于同一法平面内，因此AH′在XOY平面上的垂直投影与X轴正方向的夹角

综上，即可求得点H′在其所在球面坐标系下的极坐标为

(5)根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值。

根据鱼眼镜头投影模型计算H′成像到鱼眼图像上的对应点的像素值，将此像素值作为H′点的像素值。而H′为H在空间中对应的点，因此可获得H点的像素值。

针对两个半球空间的重叠区域，基于图像融合原理进行像素的融合。

如图4所示，两个半球空间存在重叠区域，将重叠区域投影到球面O上，由重叠方式和球面模型可知，重叠区域可以通过OH′与Z轴正方向的夹角θ的范围表示，则在O上对应的区域为：π/2-α≤θ≤π/2+α，α＝arctan(d/R)。在重叠区域，采用灰度最大值的融合方法计算最后的像素值。假设融合区域上某点 Q，它在半球A和半球B上的对应点分别为M、N，分别计算出点M、点N对应的像素灰度值，取灰度值最大的点的像素值作为融合后的像素值。

(6)计算全景图像与鱼眼图像像素位置的对应关系。

假设全景图的大小为panoWidth*panoHeight；球面全景图上一点D (x_pano，y_pano)，它在球面空间O上的对应点H极坐标为

两者对应关系如下，

点H在半球空间A、B上对应点H′的极坐标为

由等距投影关系r＝f·θ可知，半球空间到鱼眼图像像素点位置的对应关系为

因此，可以推导出全景图像与鱼眼图像像素位置的对应关系为

。

Claims (1)

1.基于重叠方式的球面全景图生成方法，其特征在于，基于重叠方式采集两幅鱼眼图像，即：两幅鱼眼图像所对应的半球面空间之间存在重叠，将两个半球面空间上的场景投影到一个球面上，生成球面全景图；包括以下步骤：

(1)以两幅鱼眼图像形成的两个半球面空间为基础，建立目标球面空间模型：

1)记两幅鱼眼图像对应的半球面空间分别为Ω1和Ω2，Ω1与Ω2朝向相反，且存在重叠，记Ω1的球心为A，Ω2的球心为B，半径均为R，记A、B之间的距离为2d；

2)以AB的中心点O为球心，建立目标球面空间模型，目标球面与Ω1、Ω2内切，则球O的半径为R-d；

3)以球心O为坐标原点建立空间坐标系OXYZ，其中X轴垂直于AB，向量方向为Z轴正方向，Y轴垂直于XOZ面并满足右手定律；

4)以球心A为坐标原点建立空间坐标系AXYZ，以球心B为坐标原点建立坐标系BXYZ，AXYZ、BXYZ的X、Y轴均与坐标系OXYZ中的X、Y轴平行且方向相同，Z轴重合且方向相同；

(2)计算目标球面上点与半球面空间上点的映射关系：

记球面全景图上的点D(x_pano，y_pano)在球面空间O上对应的点为H，连接OH后交半球面A或者B于H′，则H′为H点在半球面A或者B上的对应点，即H点的像素值与H′点的像素值相同；假设H点在OXYZ坐标系下的极坐标为

其中，R-d为球O的半径，θ₁为OH与Z轴正方向的夹角，

为OH在XOY平面上的垂直投影与X轴正方向的夹角，则需要计算对应点H′在其所在球面坐标系下的极坐标

若H′为半球面A上的点，则此时其所在球面坐标系为AXYZ；若H′为半球面B上的点，则此时其所在球面坐标系为BXYZ；其中R为半球面的半径，θ′为AH′与Z轴正方向的夹角，

为AH′在XOY平面上的垂直投影与X轴正方向的夹角；

计算过程如下：

点H′为点H的对应点，所以点O、H和H′三点共线；点O、H′和A构成空间上的三角形ΔAOH′，OH′与Z轴正方向的夹角θ为ΔAOH′的外角，θ＝θ₁，即θ等于AH′与Z轴正方向的夹角θ′加上OH′与AH′的夹角η；由三角形的余弦定理可知，

结合鱼眼镜头的成像原理，入射光、反射光和透射光位于同一法平面内，因此AH′在XOY平面上的垂直投影与X轴正方向的夹角

综上，即可求得点H′在其所在球面坐标系下的极坐标为

(3)根据鱼眼镜头投影模型，及球面空间上点与半球面空间上点的映射关系，计算球面O上点对应的像素值：

1)根据鱼眼镜头投影模型计算H′成像到鱼眼图像上的对应点的像素值，将此像素值作为H′点的像素值；而H′为H在空间中对应的点，因此可获得H点的像素值；

2)针对两个半球空间的重叠区域，基于图像融合原理进行像素的融合；两个半球空间存在重叠区域，将重叠区域投影到球面O上，由重叠方式和球面模型可知，重叠区域可以通过OH′与Z轴正方向的夹角θ的范围表示，则在O上对应的区域为：π/2-α≤θ≤π/2+α，α＝arctan(d/R)；在重叠区域，采用灰度最大值的融合方法计算最后的像素值；假设融合区域上某点Q，它在半球A和半球B上的对应点分别为M、N，分别计算出点M、点N对应的像素灰度值，取灰度值最大的点的像素值作为融合后的像素值；

(4)根据球面全景图生成原理，将球面空间上的点映射到球面全景图上；假设全景图的大小为panoWidth*panoHeight；球面全景图上一点D(x_pano，y_pano)，它在球面空间O上的对应点H极坐标为

两者对应关系如下，

点H在半球空间A、B上对应点H′的极坐标为

由等距投影关系r＝f·θ可知，半球空间到鱼眼图像像素点位置的对应关系为

因此，可以推导出全景图像与鱼眼图像像素位置的对应关系为

。

Images